Inner Peace

在抓取网页数据时，传统jsoup方案只能对静态页面有效，而有些网页数据往往是js生成的，所以这时候需要其它的方案。首先的思路是分析js程序，对js的请求进行再次抓取，这适合于特定的页面抓取，要做到对不同目标URL的通用性，比较麻烦。第二种思路，也是比较成熟的做法是利用第三方的驱动渲染页面，然后下载。这里介绍一下第二种实现思路。Selenium是一个模拟浏览器的自动化测试工具，它

关于phantomjsphantomjs实现了一个无界面的webkit浏览器。虽然没有界面，但dom渲染、js运行、网络访问等API都很完整。可以利用phantomjs来下载js生成的页面。下载phantomjs（http://phantomjs.org/download.html)。解压到任意目录，在Windows下将包含phantomjs.exe的目录添加到系统路径。Linux下 phantom

爬取网页遇到的目标站点证书不合法问题。使用jsoup爬取解析网页时，出现了如下的异常情况。javax.net.ssl.SSLHandshakeException: sun.security.validator.ValidatorException: PKIX path building failed: sun.security.provider.certpath.SunCertPathBu