爬虫总结

1. 请求url

1.1 requests

参考博客：https://www.jianshu.com/p/140012f88f8e
使用requests.get() or requests.post()方法设置请求的url，请求头和代理IP。请求完毕后可以使用请求返回的对象对返回的数据进行处理。包括读取返回的html文本，返回的状态等等信息。

1.2 urllib2

参考博客：https://www.cnblogs.com/derek1184405959/p/8448875.html
urllib2和requests类似，都是通过设置URL、请求头和代理IP之类的数据对网页进行请求

2. 网页内容解析

网页请求完毕后，需要对请求的数据进行处理，将需要的数据信息进行提取，固化，这部分是对信息进行提取的工具进行介绍。

2.1 BeautifulSoup

参考博客：https://www.jianshu.com/p/fdee8d2be876
解析HTML标签，通过标签进行查找，获取所需要的数据

2.2 xpath

参考博客：https://www.jianshu.com/p/85a3004b5c06
可以对HTML标签按照层级进行逐一的定位，从而获取所需要的数据。

3.反爬虫方法

通过设置Headers反爬虫；通过使用动态IP进行反爬虫，该部分对免费的代理网站IP进行爬取，验证可用后进行使用，一段时间后更换IP。
终极必杀：Selenium模拟浏览器工具，模拟人操作，可以搞定大部分的网站。
ajax动态网站爬取，一方面可以使用模拟浏览器工具，另一方面可以查看ajax请求的url，进行请求和解析数据。