[备忘]Python网络爬虫伪造报头

使用python从大量URL抓取内容时，往往容易出现bug，如httplib.BadStatusLine: ''，403，Socket Error。

很大一部分原因是服务器认为是恶意攻击不予响应。因此需要认为伪造报头来处理。

Chrome右键检查，Network，点开加载项header则可以看到报头信息。

req_header = {
                        'Host':'pic.581r.com',
                        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106 Safari/537.36',
                        'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
                        'Connection':'keep-alive',
                        }

timeout = 30                        
reee = urllib2.Request(link,None,req_header)
rsss = urllib2.urlopen(reee,None,timeout)
content2 = rsss.read()
with open(target,'wb') as code:
         code.write(content2)
rsss.close()
time.sleep(1)

最好每次都把打开的内容关闭以防报错。