Java：java爬虫获取动态网页的数据

说明： 只是分享一种解决方案，代码以及部分截图不方便贴出，请谅解！

前段时间一直在研究爬虫，抓取网络上的特定的数据，如果只是静态网页就是再简单不过了，直接使用Jsoup ：

Document doc = Jsoup.connect(url).timeout(2000).get();

获取到Document 然后就想干嘛就干嘛了，但是一旦碰到一些动态生成的网站就不行了，由于数据是网页加载完成后执行js代码加载的，或者是用户滑动浏览触发的js加载数据，这样的网页使用Jsoup显然拿不到想要的数据。

后来使用 Selenium 来获取动态网页的数据，可以成功的拿到数据（实现方法），将程序打包后放在一台机器上运行，开始测试，然后结果不那么理想，经常会出现内存溢出，或者浏览器升级造成驱动与浏览器版本不匹配等一些列问题，今天早上来到公司发现程序又炸了，心里千万只草泥马啊！大半夜又没人动这台机器，鼠标键