java网络爬虫实例下载,Java网络爬虫源码

【实例简介】

由于项目需要，特研究了一段时间关于java爬虫的相关技术，发现一个比较好用的爬虫框架--WebMagic，只需少量代码即可实现一个爬虫，本项目就是基于它的一个简单实现，导入项目即可运行，项目只有两个类，一个用于抓取，一个用于处理抓取到的数据，存入数据库或导出到excel等(只打印到控制台，后续自己发挥)，简单吧，代码真的很少

【实例截图】

【核心代码】

spider

└── spider

├── bin

│   ├── pipeline

│   │   └── HdPipeline.class

│   └── processor

│   └── HdProcessor.class

├── lib

│   ├── assertj-core-1.5.0.jar

│   ├── bcprov-jdk15on-1.52.jar

│   ├── commons-beanutils-1.7.0.jar

│   ├── commons-codec-1.6.jar

│   ├── commons-codec-1.7.jar

│   ├── commons-collections-3.1.jar

│   ├── commons-collections-3.2.1.jar

│   ├── commons-io-1.3.2.jar

│   ├── commons-io-2.0.1.jar

│   ├── commons-lang-2.5.jar

│   ├── commons-lang-2.6.jar

│   ├── commons-lang3-3.1.jar

│   ├── commons-logging-1.1.3.jar

│   ├── commons-logging-1.2.jar

│   ├── commons-logging.jar

│   ├── commons-pool-1.5.4.jar

│   ├── commons-pool-1.5.5.jar

│   ├── ezmorph-1.0.3.jar

│   ├── fastjson-1.1.37.jar

│   ├── guava-15.0.jar

│   ├── hamcrest-core-1.3.jar

│   ├── httpclient-4.3.3.jar

│   ├── httpclient-4.5.2.jar

│   ├── httpcore-4.3.2.jar

│   ├── httpcore-4.4.5.jar

│   ├── jedis-2.0.0.jar

│   ├── jedis-2.1.0.jar

│   ├── json-lib-2.4-jdk15.jar

│   ├── json-path-0.8.1.jar

│   ├── json-smart-1.1.1.jar

│   ├── jsoup-1.7.2.jar

│   ├── junit-4.11.jar

│   ├── log4j-1.2.15.jar

│   ├── log4j-1.2.17.jar

│   ├── slf4j-api-1.6.1.jar

│   ├── slf4j-api-1.7.6.jar

│   ├── slf4j-log4j12-1.7.6.jar

│   ├── webmagic-core-0.5.2.jar

│   ├── webmagic-extension-0.5.2.jar

│   └── xsoup-0.2.4.jar

└── src

├── pipeline

│   └── HdPipeline.java

└── processor

└── HdProcessor.java

8 directories, 44 files