- 有时候我们爬一些网页的时候会出现403错误(urllib.error.HTTPError:HTTP Error 403:Forbidden),因为这些网站为了防止别人恶意采集信息进行了一些反爬虫的设置,解决方法:将爬虫伪装成浏览器
方法一:使用build_opener()修改报头
(1)首先,定义一个变量url存储要爬取得网址,然后又定义一个变量存储UA信息,格式为一个元组(“User-Agent”, “具体信息”)
(2)使用urllib.request.build_opener()方法创建opener对象
(3)设置opener的addheaders属性:opener.addheaders = [头信息],是一个元组,如上面的(“User-Agent”, “具体信息”)
(4)使用设置了头信息的opener对象的open方法直接打开url就实现了模拟浏览器打开url了。由于urlopen()不支持HTTP的一些高级功能,所以我们如果要修改报头,可以使用urllib.request.build_opener(*handlers)
import urllib.request
url = “http://blog.csdn.net/beliefer/article/details/51251757”
headers_UA = (“User-Agent”, “Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36”)
opener = urllib.request.build_opener()
opener.addheaders = [headers_UA]
data = opener.open(url).read()
with open(‘csdn01.html’,’wb’) as f:f.write(data)方法二:使用add_header()添加报头
(1)使用urllib.request.Request(url)创建一个Request对象
(2)使用Resquest对象的add_header(‘User-Agent’,’具体信息’)方法为Request对象添加头信息
(3)使用urllib.request.urlopen(req)方法打开添加了头信息的Request对象
import urllib.request
url = “http://blog.csdn.net/beliefer/article/details/51251757”
req = urllib.request.Request(url)
req.add_header (“User-Agent”, “Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36”)
data = urllib.request.urlopen(req).read()