java爬虫抓取下载文件_WebMagic（Java）爬虫实现，实现数据爬取，并导出到excel文件...

【实例简介】

WebMagic(Java)爬虫实现，实现数据爬取，并导出到excel文件

【实例截图】

【核心代码】

qq_35861885_9810189

└── crawler3

├── bin

│   └── com

│   └── chao

│   ├── crawler

│   │   ├── Client.class

│   │   ├── DownloadHelper.class

│   │   ├── PageProcesser1.class

│   │   ├── PageProcesser.class

│   │   ├── PageProcesserProduct.class

│   │   ├── PathHelper.class

│   │   ├── PoiHelper.class

│   │   ├── Product.class

│   │   ├── ProductPipeline.class

│   │   ├── URLHelper.class

│   │   └── URLPipeline.class

│   ├── test

│   │   └── GithubRepoPageProcessor.class

│   └── util

│   ├── ListUtil.class

│   └── pageProcesserTest1.class

├── lib

│   ├── assertj-core-1.5.0.jar

│   ├── commons-codec-1.6.jar

│   ├── commons-collections-3.2.1.jar

│   ├── commons-io-1.3.2.jar

│   ├── commons-lang-2.6.jar

│   ├── commons-lang3-3.1.jar

│   ├── commons-logging-1.1.3.jar

│   ├── commons-pool-1.5.5.jar

│   ├── fastjson-1.1.37.jar

│   ├── guava-15.0.jar

│   ├── hamcrest-core-1.3.jar

│   ├── httpclient-4.3.3.jar

│   ├── httpcore-4.3.2.jar

│   ├── jedis-2.0.0.jar

│   ├── json-path-0.8.1.jar

│   ├── json-smart-1.1.1.jar

│   ├── jsoup-1.7.2.jar

│   ├── junit-4.11.jar

│   ├── log4j-1.2.17.jar

│   ├── poi-3.12-20150511.jar

│   ├── poi-excelant-3.12-20150511.jar

│   ├── poi-ooxml-3.12-20150511.jar

│   ├── poi-ooxml-schemas-3.12-20150511.jar

│   ├── poi-scratchpad-3.12-20150511.jar

│   ├── slf4j-api-1.7.6.jar

│   ├── slf4j-log4j12-1.7.6.jar

│   ├── webmagic-core-0.5.2.jar

│   ├── webmagic-extension-0.5.2.jar

│   └── xsoup-0.2.4.jar

└── src

└── com

└── chao

├── crawler

│   ├── Client.java

│   ├── DownloadHelper.java

│   ├── PageProcesser1.java

│   ├── PageProcesser.java

│   ├── PageProcesserProduct.java

│   ├── PathHelper.java

│   ├── PoiHelper.java

│   ├── Product.java

│   ├── ProductPipeline.java

│   ├── URLHelper.java

│   └── URLPipeline.java

├── test

│   └── GithubRepoPageProcessor.java

└── util

├── ListUtil.java

└── pageProcesserTest1.java

14 directories, 57 files