本文总结了Python爬虫的关键技术，包括urllib2和requests库的使用，headers和cookies的设置，以及正则表达式、BeautifulSoup和XPath的数据提取方法。还介绍了selenium的运用以及分布式爬虫的实现，如Scrapy框架、rabbitMQ和scrapy-redis。最后提到了OCR识别和代理IP在应对反爬策略中的角色。
-
爬虫理论，怎么样抓包，同步异步分析要抓取的数据，我们的爬虫都是定向爬虫
-
urllib2结合urllib作为入门了解内容，了解urllib2抓取数据的使用
-
requests重点，重点，重点，重复3遍，必须掌握requests的使用
headers:为了伪装浏览器，破解对方网站的反爬措施，针对直接拿不到数据的网站，首先考虑使用headers。
cookies:主要使用在破解登录算法，登录算法破解完成后，拿到cookies，然后根据拿到的cookies去访问个人主页等，需要登录后看到的数据。cookies是服务器写入浏览器本地的数据
params：拼接url的“？”后面的数据，每个 “&”都代表一个字典的键值
data：用于post方式传送数据时使用
timeout：类似于打开浏览器访问第三方网站的时间，限定时间内访问。
proxies：如果第三方网站启用了反爬措施，例如：出现验证码，此时我们可以使用代理IP，访问
- 提取数据 重点，重点，重复3遍，只爬取不提取数据是没有意义的
正则表达式：提供最简单的 (.?) 的使用，要和不要的数据都是用(.?)提取
bs4：需要将文档转换成BeatfulSoup对象，需要lxml解析器进行解析
xpath：lxml解析器解析，父节点，子节点的方式进行查找
- <
最低0.47元/天 解锁文章
扫一扫
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
