数据抓取的一般流程

1.构造http请求.

1.1 网站如果不需要cookie验证则可以直接拼写常规的http 请求头,访问请求获取数据即可(应用宝每日应用监控数据获取).

1.2 网站如果需要cookie验证,但登陆无验证码,无CSRF安全验证,则直接模拟登陆获取cookie,构造请求将cookie带入即可获取数据.

1.3 网站需要cookie验证,无验证码,有csrf验证的(酷传数据获取),可以通过查找页面的csrf值,然后模拟登陆,获取cookie,构造请求将cookie 带入即可获取数据,也可以通过capserJs找到页面dom进行登陆(今日头条后台激活数获取).

1.4 网站需要cookie,有验证码,验证码能识别的(QQ浏览器激活数获取),可以识别验证码,模拟登陆,获取cookie,然后请求数据.

1.5 网站需要cookie,有验证码,验证码不能识别,人工登陆,然后获取cookie,然后请求数据即可.

2.解析数据.

通常有3种类型数据

1)json格式数据,json_decode()解析数据即可

2)Excel/CSV格式数据

3)HTML格式数据