动态网页数据抓取
1.直接分析ajax调用接口
优点:
直接可以请求到数据,不需要做一些解析工作.代码量少性能高
缺点:
分析接口比较负责,特别是一些通过js混淆的接口,要有一定js功底。容易被发现了是爬虫
2.使用Selenium+chromedriver模拟浏览器行为获取数据
优点:
直接模拟浏览行为。模拟浏览器能请求到的。使用selenium也能请求到。爬虫更稳定
缺点:
代码量多性能低
下载chromedriver链接
https://sites.google.com/a/chromium.org/chromedriver/downloads