在用类爬取网页内容的时候,定义一个def __init__(self)函数,用来初始化方法,定义些变量,用到关于headers的一些知识。
def __init__(self):
self.user_agent = 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'
self.headers = { 'User-Agent' : self.user_agent }
Usr-Agent主要就是包括: 浏览器名和版本号,操作系统名和版本号,默认语言
headers中主要记载了浏览器,请求页面,服务器等相关的信息
什么是HTTP Headers??大家可以参考下面的内容哦!讲的很详细!