使用webmagic编写Java爬虫获取博客园文章内容

最新推荐文章于 2022-03-11 11:57:14 发布

weixin_30825581

最新推荐文章于 2022-03-11 11:57:14 发布

阅读量312

点赞数

文章标签：爬虫 java 开发工具

原文链接：http://www.cnblogs.com/cielosun/p/6833497.html

版权

先导知识
官方教程
简单爬虫编写
- Maven配置
- 第一个爬虫：博客园
特别注意

无意中发现了这个框架，真正的传说中的傻瓜爬虫框架，用来写简单爬虫很方便，也能够通过多写一些代码写复杂爬虫，作者是中国人，看文档就能学会这个框架的使用，我这里简单的用cnblogs举例介绍一下这个框架的使用。

1. 先导知识

Java：这个就不多说了，不会Java肯定是要用Python写爬虫的，资料一找一大堆。
Maven：Maven被idea集成，用起来非常傻瓜，教程一搜一大堆。
正则表达式的基本使用：我是看的这本书《正则表达式必知必会》，看完前几章就够了，目测耗时不超过1小时。
XPath简单语法：只谈使用的话，用于本爬虫看了这页教程就够了XPath语法。

2. 官方教程

官方教程位置在WebMagic in Action，官方教程非常亲民易懂，如果有能力建议直接去看github上的仓库webmagic。

3. 简单爬虫编写

3.1. Maven配置

首先是添加Maven依赖，其依赖的包会自动加载。

<dependencies>
        <dependency>
            <groupId>us.codecraft</groupId>
            <artifactId>webmagic-core</artifactId>
            <version>0.6.1</version>
        </dependency>
        <dependency>
            <groupId>us.codecraft</groupId>
            <artifactId>webmagic-extension</artifactId>
            <version>0.6.1</version>
        </dependency>
    </dependencies>

之后，就可以愉快的开始写爬虫啦~

3.2. 第一个爬虫：博客园

首先一定要阅读官方文档，理解其中的普通模式后，再理解注解模式。

由于官方文档中爬github的爬虫目前已经失效了，所以我这里用爬cnblogs为例，贡献一下我自己的博客，讲一下这个爬虫。

直接给代码：

package com.spider.main;

import org.apache.http.HttpHost;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.model.ConsolePageModelPipeline;
import us.codecraft.webmagic.model.OOSpider;
import us.codecraft.webmagic.model.annotation.ExtractBy;
import us.codecraft.webmagic.model.annotation.HelpUrl;
import us.codecraft.webmagic.model.annotation.TargetUrl;

/**
 * Created by 63289 on 2017/5/9.
 */
@HelpUrl("http://www.cnblogs.com/cielosun/default.html\\?page=\\d+")
@TargetUrl("http://www.cnblogs.com/cielosun/p/\\d+.html")
public class CnBlogPo {
    @ExtractBy("//a[@id='cb_post_title_url']/text()")
    private String title;
    @ExtractBy("//div[@id='cnblogs_post_body']/tidyText()")
    private String post;
    @ExtractBy("//div[@class='postDesc']//span[@id='post-date']/text()")
    private String date;

    public String getTitle() {
        return title;
    }

    public void setTitle(String title) {
        this.title = title;
    }

    public String getPost() {
        return post;
    }

    public void setPost(String post) {
        this.post = post;
    }

    public String getDate() {
        return date;
    }

    public void setDate(String date) {
        this.date = date;
    }
    public static void main(String[] args){
        OOSpider.create(Site.me().setSleepTime(1000).setHttpProxy(new HttpHost("127.0.0.1",1080)),new ConsolePageModelPipeline(),CnBlogPo.class)
                .addUrl("http://www.cnblogs.com/cielosun").thread(5).run();
    }
}

其中，因为我用了代理，所以设置了setHttpProxy方法，如果没使用代理不需要这样。整个类是一个添加了注解的POJO，非常适合Java编程。几个注解意思如下：

TargetUrl 有所有需求数据的地址，本例子中，是任意文章的位置。
HelpUrl 辅助检索的目录，本例子中，是文章列表的位置。
ExtractBy 基于XPath的定位方式，注明POJO中各元素的关联定位。

关于OOSPider，其中参数分别为，Site对象（包含对爬虫的配置信息），Pipeline对象（包含输出位置信息），POJO的类名，根链接（从该处开始运行爬虫）。而其thread方法表示开启的线程数量,run方法表示前台运行，如果用start则在后台运行，不阻塞主线程。

具体的详细的内容请参考官方中文文档。

4. 特别注意

在TargetUrl和HelpUrl中使用的是正则表达式，但.表示\.，*表示.*更适合描述Url。
ExtractBy使用的XPath中增加了如下方法：

Exp	Description
text(n)	第n个直接文本子节点，为0表示所有
allText()	所有的直接和间接文本子节点
tidyText()	所有的直接和间接文本子节点，并将一些标签替换为换行，使纯文本显示更整洁
html()	内部html，不包括标签的html本身
outerHtml()	内部html，包括标签的html本身
regex(@attr,expr,group)	这里@attr和group均可选，默认是group0