爬虫_Day 3 伪装请求头

上次成功的爬取到了纵横中文网24小时热销排行榜

他是没有反爬机制的

所以我们很顺利就获取到 l

但是遇到反爬怎么办，我们也丝毫不慌

我们就来伪装一下他的“头部”

 

这次我们使用豆瓣来测试一下

首先我们用python访问一下

import urllib.request
url = "https://www.douban.com/"
respinse = urllib.request.urlopen(url).read().decode("utf-8")
print(respinse)

哦吼报错了

首先我们需要知道被反爬的原因

打开Fiddle 来抓取一下（以后再说这个工具）

这里介绍一个不错的测试用的网站

httpbin.org​httpbin.org