python-快速使用urllib爬取网页（2-Headers属性）

有时候，我们无法爬取一些网页，出现403错误，因为这些网页为了防止别人恶意采集进行了一些反爬虫设置

可是我们想爬取这些信息，怎么办？
设置一些Headers属性，模拟成浏览器去访问这些网站，就解决了这个问题了

首先我们要获得所要爬取网页的User-Agent信息
在所要爬取的网页的地址栏里输入
about:version
我们就找到了用户代理的字符串信息
我们将其复制出来
形式如下所示：

Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 QIHU 360SE

两种方法让爬虫模拟成浏览器访问网页的设置方法
1、使用build_opener（）修改报头
由于urlopen（）不支持HTTP的高级功能，所以，如果我们要修改报头，可以使用urllib.request.build_opener()进行

url = "http://baidu.com" #爬取网页的url

headers = ("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 QIHU 360SE")

opener = urllib.request.build_opener()

opener.addheaders = [headers]

data = opener.open(url).read()
print(data)

url：爬取的网页地址
headers：存储User-Agent信息
opener：创建一个opener对象
opener.addheaders:设置对象的头信息
采用此对象打开网页，我们现在的打开操作已经是具有头信息的打开操作行为，就是说会模仿浏览器去打开

将数据写入本地文件

fhandle = open("D:/python3.5/1.html","wb")
fhandle.write(data)
fhandle.close()

爬取成功

# coding=utf-8
import urllib.request

url = "http://baidu.com" #爬取网页的url
headers = ("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 QIHU 360SE")

opener = urllib.request.build_opener()

opener.addheaders = [headers]

data = opener.open(url).read()

fhandle = open("D:/python3.5/1.html","wb")
fhandle.write(data)
fhandle.close()

2、使用add_header()添加报头

# coding=utf-8
import urllib.request

url = "http://baidu.com" #爬取网页的url

req = urllib.request.Request(url)
req.add_header("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 QIHU 360SE")

data = urllib.request.urlopen(req).read()
print(data)

url：爬取的网页地址
rep：创建一个request对象
req.add_header：添加对应的报头信息
data：打开该request对象即打开了网址并读取内容

总结：
a、将爬出信息存入本地文件的两种方法

#将爬取内容读入本地文件的第一种方法
fhandle=open("D:/python3.5/1.html","wb")
fhandle.write(get)
fhandle.close()

#将爬取内容读入本地文件的第二种方法
filename=urllib.request.urlretrieve("http://www.baidu.com",filename="D:/python3.5/2.html")
#urllib.request.urlcleanup()

b、面对反爬虫网页的两种模拟浏览器访问网站从而爬取的两种方法

# coding=utf-8
#第一种方法
import urllib.request

url = "http://baidu.com" #爬取网页的url

req = urllib.request.Request(url)

req.add_header("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 QIHU 360SE")

data = urllib.request.urlopen(req).read()
print(data)


# coding=utf-8
#第一二种方法
import urllib.request

url = "http://baidu.com" #爬取网页的url

#headers = ("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 QIHU 360SE")

#opener = urllib.request.build_opener()

#opener.addheaders = [headers]

#data = opener.open(url).read()