2016年08月_小江_xiaojiang

12月 11月 10月 09月 08月 07月 06月 04月 03月 02月 01月

转载 Java之网络爬虫WebCollector+selenium+phantomjs(三)

经过前面两篇的学习Java之网络爬虫WebCollector+selenium+phantomjs(一)与Java之网络爬虫WebCollector+selenium+phantomjs(二)的学习后，我们来做一个小例子。我们所要做的东西为:爬取到京东列表页面，在页面上抽取出商品信息(名称、价格、评价)，然后打印出抽取的商品信息。贴出代码：Goods.Java/* * Cop

2016-08-27 14:14:40 2449

转载 Java之网络爬虫WebCollector+selenium+phantomjs(二)

上一篇做小例子的时候，在获取页面上价格的时候发现，获取不到，查了下说是webcollector需要结合selenium与phantomjs来获取js生成的动态。下面就做个例子来学习。准备材料在上一篇已经准备完毕，我是在windows系统上进行的测试，所以phantomjs运行环境下载phantomjs-windows下载即可，下载后解压到某个文件夹即可(可以把解压路径添加到环境变量里，如果

2016-08-27 14:10:15 3337 1

转载 Java之网络爬虫WebCollector+selenium+phantomjs(一)

http://blog.csdn.net/osaymissyou0/article/details/49386637最近研究了一下爬虫技术，与大家分享一下。由于目前有很多成熟的框架(奉劝不要自己花时间再写爬虫框架了，真心没必要)，俺也就从中选一个适合我目前需求或者说相对简单的框架来学习吧。先把各种网络爬虫框架地址曝光一下:基于Java的网络爬虫框架集合。这次学习

2016-08-27 14:07:25 6710 3

转载 selenium 实现爬虫

1下载selenium-server-standalone-2.41.0.jarchromedriver_win32.zip IEDriverServer_x64_2.42.0.zip 2设置环境1)解压chromedriver_win32.zip，把chromedriver.exe拷贝至C:/ selenium/chrome/2)解压IEDriverServer

2016-08-27 13:47:34 1960