requests+Google爬取80%网站的思想
1.requests相比urllib简单了许多,话不多说先来个官网看看:http://docs.python-requests.org/zh_CN/latest/user/quickstart.html
http://docs.python-requests.org/zh_CN/latest/user/advanced.html?
2.pip install requests
3.首先使用Google分析网站的数据,获取url的接口(接口是一个网站数据的真实来源)
举一个简单的例子(一点资讯):
1.有些网站可以直接通过google查看网站源代码,然后使用python+正则获取想要的数据在这里插入图片描述;这种非常简单,但很多网站是不能这样用的,因为虽然可以查看网站源代码,但使用python获取数据的时候却发现无法获取数据。