WebMagic是黄亿华先生开发的一款java轻量级爬虫框架。我之所以选择WebMagic,因为它非常轻量级,可以学习爬虫的原理,而且用WebMagic非常容易进行功能扩展。也许你会听过另一个爬虫框架,Heritrix。博主一开始也是先入手了Heritrix,但是后来发现Heritrix实在是不够轻量级,因为博主只是想自己做个爬虫玩玩,并且能对爬虫的原理有更深刻的认识,所以,博主后来就开始入手更轻量级的WebMagic。由于博主也是刚接触WebMagic,写博客也只是为了记录我的学习到的知识,文章如有纰漏,敬请指正。
一、首先我们看一下我们要 爬取的网页,这个demo中,我打算爬取暴走漫画的中的笑话,内容包括作者名称(author),笑话内容(xontent),上传日期(time)
二、定义一个实体类封装爬取内容
public class BaozouNews {
// 作者
private String author;
// 提交时间
private String time;
// 内容
private String content;
getter and setter...
}
三、WebMagic中最重要的组件就是PageProcessor,它决定了你抓取数据的逻辑。
1)确定要加入待爬取队列的超链接。
我们爬取起始位置为第一页,因此我们要将其他页码的超链接加入待爬队列
我们可以清晰看到页码的超链接存放在class为pager-content的div块中,因此可以如下将超链接加入队列中,css选择器详见css参考手册
page.addTargetRequests(page.getHtml().css("div.pager-content").links().all());
2)确定待爬取数据。
文章内容(content)是class为article article-text的div的data-text属性,因此其xpath为,关于xpath详见xpath教程
String content=page.getHtml().xpath("//div[@class='article article-text']/@data-text").toString()
作者(author)是class为article-author-name的a的字符串部分
String author=page.getHtml().xpath("//a[@class='article-author-name']/text()").toString()
依此类推
String time=page.getHtml().xpath("//span[@class='article-date']/text()").toString()
四、根据第三步的分析,写自己的PageProcessor
public class BaoZouProcessor implements PageProcessor {
private Site site = Site.me().setRetryTimes(3).setSleepTime(100);
@Override
public void process(Page page) {
page.addTargetRequests(page.getHtml().css("div.pager-content").links().all());
BaozouNews news = new BaozouNews();
news.setAuthor(page.getHtml().xpath("//a[@class='article-author-name']/text()").toString());
news.setContent(page.getHtml().xpath("//div[@class='article article-text']/@data-text").toString());
news.setTime(page.getHtml().xpath("//span[@class='article-date']/text()").toString());
page.putField("news", news);
}
@Override
public Site getSite() {
return site;
}
}
五、编写自己的Pipeline,将爬取到的数据保存到数据库
public class BaoZouPipeLine implements Pipeline {
@Override
public void process(ResultItems resultItems, Task task) {
BaozouNews news = (BaozouNews) resultItems.get("news");
Dao.insert(news);//将数据插入数据库
}
}
public class Dao {
private static Connection getConn() {
String driver = "com.mysql.jdbc.Driver";
String url = "jdbc:mysql://localhost:3306/baozou";
String username = "root";
String password = "";
Connection conn = null;
try {
Class.forName(driver); // classLoader,加载对应驱动
conn = (Connection) DriverManager.getConnection(url, username, password);
} catch (ClassNotFoundException e) {
e.printStackTrace();
} catch (SQLException e) {
e.printStackTrace();
}
return conn;
}
public static int insert(BaozouNews news) {
Connection conn = getConn();
int i = 0;
String sql = "insert into baozou (author,time,content) values(?,?,?)";
PreparedStatement pstmt;
try {
pstmt = (PreparedStatement) conn.prepareStatement(sql);
pstmt.setString(1, news.getAuthor());
pstmt.setString(2, news.getTime());
pstmt.setString(3, news.getContent());
i = pstmt.executeUpdate();
pstmt.close();
conn.close();
} catch (SQLException e) {
e.printStackTrace();
}
return i;
}
}
七、编写测试类
public class Test {
public static void main(String[] args) {
Spider.create(new BaoZouProcessor())
// 从"http://baozoumanhua.com/text"开始抓
.addUrl("http://baozoumanhua.com/text").addPipeline(new BaoZouPipeLine())
// 开启5个线程抓取
.thread(5)
// 启动爬虫
.run();
}
}
八、查看数据库结果,如图,成功地将网页上的数据保存到了数据库中
这只是一个简单的WebMagic爬虫的实例,但是还是可以学到很多东西。