爬虫(3)request.Request类的介绍和简单爬虫实战

request.Request类

什么要使用request.Request类?

在我们用程序进行爬虫的时候,网站往往会有一些反爬虫的程序,如果不使用request.Request类,那么浏览器和网站一眼就可以看出这个是一个python代码在请求网页,这时网站会拒绝访问,或者会发送假的数据给我们来迷惑我们.
所以我们要使用request.Request类来伪装我们的爬虫程序,将其包装为一个浏览器,这时网站就不会阻碍我们的访问.

实战爬取www.2345.com主页

from urllib import request

headers = {
   
    'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400',

}
re