51自学网python爬虫_自学Python爬虫实战（小白篇)

Python的爬虫很强大，可以高效的提取网站信息，省时省力高效。瞎掰这么多犹如纸上谈兵，下面把这周的部分成果放出来。

爬取京东商品页面信息

1.我们需要从python中安装一个requests库--------在windows 系统下,只需要输入命令pip install requests即可安装。

输入import requests验证是否安装成功。（注意，俩单词中间只有一个空格哦！）

(图示为安装成功）

2.插入链接，我们爬取京东的一款电脑，链接如下https://item.jd.com/55983367371.html-----输入r=requests.get("https://item.jd.com/55983367371.html")

3.输入r.status_code查看状态码，200为正常。（如果不是两百，文章最后有解决办法）

4.我们查看他的编码信息----r.encoding

5.最后，输入r.text[:1000]获取信息

大多数情况会出现异常情况：

这是被京东的网站截住了，你想去人家的大学大摇大摆拍照，被保安大爷大喝一声“站住！”，把你拦截了。

咋回事？

你把你的真实面目展现给了对方。

咱好歹得伪装一下，给京东的兄弟留点面子。

输入r.request.headers查看他的头部份，

说明我们如实的告诉了门岗，有一个叫 'python-requests/2.24.0'的小毛孩儿想要扒你的信息，大爷当然就六亲不认了，但是没有关系，我们可以装作一个浏览器访问。

解决方案

依次输入：

kv = {'user-agent':'Mozilla/5.0'}

url ="https://item.jd.com/55983367371.html"

r = requests.get(url, headers = kv)

每次输完不要忘记回车哦。

一顿操作猛如虎，成功伪装成浏览器，名字叫做Mozilla/5.0

再操作，Victory

同理，如果状态码异常了（非200），再进行同样的操作就OK了！

赶紧找个其他的商品试试吧！

原文链接:https://blog.csdn.net/m0_46565226/article/details/108327609