python 爬虫原理与数据抓取

爬虫相关概念

what is？

爬虫：抓去网页数据的程序。

How to catch?

网页三大特征？

1.URL

2.HTML

3.HTTP/HTTPS

爬虫的设计思路？

1.确定需要爬去的网页的URL地址

2.通过HTTP协议来获取对应的HTML页面

3.提取HTML里有用的数据

if 有用：

save

else:

重复步骤2

如何抓取HTML页面：

HTTP请求的处理，urllib,urllib2,requests

处理后的请求可以模拟浏览器发送请求，获取服务器响应的文件

解析服务器相应内容：

re,xpath,beautifulSoup4,jsonPath,pyquery等

正则，等匹配规则

如何采集动态HTML，验证码的处理：

通用的动态页面采集：Selenium+PhantomJS(自动化测试工具+无界面浏览器，可以模拟真实浏览器)

Scrapy框架Pyspider

分布式策略：

Scrapy-redis,以redis数据库为核心的组件，让scrapy支持分布式，请求指纹去重，请求分配