1.爬取原页面
这里要爬取的原页面如下图:
2.错误代码
不知道各位小伙伴是不是和我一样使用的是如下图的代码呢?
import requests
url = "http://item.jd.com/2967929.html"
try:
r = requests.get(url)
r.raise_for_status()
print(r.status_code)
r.encoding = r.apparent_encoding
print(r.text[:1001])
except:
print("爬取异常")
我用以上代码得到的结果是这样的
只有一个网址,而并没有和预想的一样会显示内容,这是什么原因呢,我们来分析。
3.错误分析
使用IDLE交互式环境进行错误分析
(1)查看状态码和编码方式
通过状态码和编码方式的查看我们发现好像并没有任何问题,这时候就要考虑是不是京东对爬虫做了user-agent限制呢
(2)输出提交给京东的头部信息
通过输出头部信息,我们发现,在提交给京东的信息中,我们很诚实的告诉了京东所使用的爬虫获取信息,由于京东对爬虫做了来源审查,所以我们并不能查看爬取的内容
(3)解决办法
既然找到了错误原因,那么相应的解决办法也就显而易见了,我们只需要使用字典构建一个构造一个键值对,更改下头部信息。将上述user-agent中的内容改成任意浏览器即可。
headers = {"User-Agent": "Mozilla/5.0"}
Mozilla/5.0表示提交访问的可能是火狐、Google等任意浏览器,它是标准的浏览器的身份标识字段。
4.完整代码
import requests
url = "http://item.jd.com/2967929.html"
headers = {"User-Agent": "Mozilla/5.0"}
try:
r = requests.get(url, headers=headers) #因为京东有user-agent限制所以要加入头部信息
r.raise_for_status()
print(r.status_code)
r.encoding = r.apparent_encoding
print(r.text[:1001])
except:
print("爬取异常")
输出内容如下图,我们可以看到已经能够正常爬取内容了
本篇完,如有错误欢迎指出~