学习目标:了解并学会传入headers。
上次我们在写代码时遇到了一个问题,就是得到的文本只有一点点。这是因为服务器为了反爬,实施的一种措施。
首先我们要了解一下headers,他就是我们在请求过程当中传入的头部信息,这种浏览器可以分辨你是什么身份。我们首先看一下默认传入的headers。
print(r.headers)
我们就直接在上次的代码下面加上这个,从得到的信息里面你可以看到,requests直接告诉了服务器这是一个爬虫。所以我们要改一下headers。
headers="""需要传入的headers,以字典形式传入"""
requests.get(
url=url,
headers=headers
)
这里也是一个简单的传入格式,但是headers里面要写什么,我们下次再仔细讲。