爬虫相关概念
what is?
爬虫:抓去网页数据的程序。
How to catch?
网页三大特征?
1.URL
2.HTML
3.HTTP/HTTPS
爬虫的设计思路?
1.确定需要爬去的网页的URL地址
2.通过HTTP协议来获取对应的HTML页面
3.提取HTML里有用的数据
if 有用:
save
else:
重复步骤2
如何抓取HTML页面:
HTTP请求的处理,urllib,urllib2,requests
处理后的请求可以模拟浏览器发送请求,获取服务器响应的文件
解析服务器相应内容:
re,xpath,beautifulSoup4,jsonPath,pyquery等
正则,等匹配规则
如何采集动态HTML,验证码的处理:
通用的动态页面采集:Selenium+PhantomJS(自动化测试工具+无界面浏览器,可以模拟真实浏览器)
Scrapy框架Pyspider
分布式策略:
Scrapy-redis,以redis数据库为核心的组件,让scrapy支持分布式,请求指纹去重,请求分配