在抓取网页数据时,传统jsoup方案只能对静态页面有效,而有些网页数据往往是js生成的,所以这时候需要其它的方案。
首先的思路是分析js程序,对js的请求进行再次抓取,这适合于特定的页面抓取,要做到对不同目标URL的通用性,比较麻烦。
第二种思路,也是比较成熟的做法是利用第三方的驱动渲染页面,然后下载。这里介绍一下第二种实现思路。
Selenium是一个模拟浏览器的自动化测试工具,它提供一组API可以与真实的浏览器内核交互。
Selenium是一个模拟浏览器的自动化测试工具,它提供一组API可以与真实的浏览器内核交互。