python 爬虫

目前我们用python爬虫主要有几种网页形式;
1.网站链接请求的静态页面；最简单的
2.ajax请求的异步加载页面；
3需要输入信息查询的以及需要人机多次互动获取信息的。

第一种情况是最简单的，
首先分析网站链接以及下钻链接，跳转链接规律后去遍历获取链接然后发请求

然后分析获取的html文件标签，找到你需要的数据标签，进行数据提取。解析html文件 用etree或者beautifulsoup解析

最后是保存数据，保存csv或者excel 文本文件或者数据库都可以。

2.构造ajax异步请求，用requests发请求，解析网页。如果请求报错，可以用postman测试，生成python代码。检查问题

3.需要用到python的selenium第三方库，实现像真人一样的人机交互。