7.1 WebMagic环境搭建

1.简介
WebMagic是一个非常优秀的Java开源爬虫框架，其功能覆盖了网络爬虫的整个生命周期，包括URL提取、网页内容下载、网页内容解析和数据存储。WebMagic项目的源码可以在github上进行下载。

2.引入依赖
在Idea或者Eclipse中创建Maven工程，并在Maven工程的pom.xml文件中添加WebMagic的dependency，本专栏采用的版本是0.7.3。

<dependency>
    <groupId>us.codecraft</groupId>
    <artifactId>webmagic-core</artifactId>
    <version>0.7.3</version>
</dependency>
<dependency>
    <groupId>us.codecraft</groupId>
    <artifactId>webmagic-extension</artifactId>
    <version>0.7.3</version>
</dependency>

WebMagic依赖的jar包含有HttpClient(网页请求开源库)、Jsoup/Xsoup(HTML解析)、slf4j/log4j(配置日志)、Fastjson(JSON数据解析)、jedis/commons-pool(Redis数据库操作)等。
WebMagic核心模块包括Schdule(URL维护和调度模块)、Downloader(页面下载模块)、Processor(URL提取和页面分析模块)、Selector(数据解析模块)、Pipeline(数据存储模块)、Proxy(代理操作模块)。