java正文提取_Java网页正文提取工具

最近做一个项目，其中涉及到网页信息采集，随后对相关的技术进行了学习与研发，网页正文提取技术常用的有joyhtml、boilerpipe、cx-extractor下面将对其做一个简单的对比说明，和大家进行下分享。

相关技术

1. joyhtml：http://code.google.com/p/joyhtml/

JoyHTML的目的是解析HTML文本当中的链接和正文，利用超链接密度法为主要判断依据的标记窗算法，采用DOM树解析模式。

2. boilerpipe：http://code.google.com/p/boilerpipe/

这个Java类库提供算法来探测和删除在一个网页中主文本内容旁多余的重复内容。它已经有提供特殊的策略来处理一些常用的功能如：新闻文章提取

依赖的lib：

lib.rar

boilerpipe-1.2.0-bin.tar.gz

使用示例：

public static void main(String[] args) throws Exception {

String url = "http://finance.people.com.cn/n/2013/1011/c66323-23157265.html";

TextDocument doc = new BoilerpipeSAXInput(new InputSource(new URL(url).openStream()))

.getTextDocument();

BoilerpipeExtractor extractor = CommonExtractors.ARTICLE_EXTRACTOR;

extractor.process(doc);

System.out.println("title:" + doc.getTitle());

System.out.println("content:" + doc.getContent());

}

3. cx-extractor：http://code.google.com/p/cx-extractor/

本算法首次将网页正文抽取问题转化为求页面的行块分布函数，并完全脱离HTML标签。通过线性时间建立行块分布函数图，由此图可以直接高效、准确的定位网页正文。同时采用统计与规则相结合的方法来解决系统的通用性问题。

4. WebCollector/ContentExtractor：https://github.com/CrawlScript/WebCollector

WebCollector的正文抽取API都被封装为ContentExtractor类的静态方法。 可以抽取结构化新闻，也可以只抽取网页的正文(或正文所在Element)。

正文抽取效果指标 :

比赛数据集CleanEval P=93.79% R=86.02% F=86.72%

常见新闻网站数据集 P=97.87% R=94.26% F=95.33%

算法无视语种，适用于各种语种的网页。

标题抽取和日期抽取使用简单启发式算法。

调用方法：

News news = ContentExtractor.getNewsByHtml(html, url);

News news = ContentExtractor.getNewsByHtml(html);

News news = ContentExtractor.getNewsByUrl(url);

String content = ContentExtractor.getContentByHtml(html, url);

String content = ContentExtractor.getContentByHtml(html);

String content = ContentExtractor.getContentByUrl(url);

Element contentElement = ContentExtractor.getContentElementByHtml(html, url);

Element contentElement = ContentExtractor.getContentElementByHtml(html);

Element contentElement = ContentExtractor.getContentElementByUrl(url);

最终选择WebCollector

理由如下：

简单：java代码不超过400行

准确率高：>95%

算法时间复杂度为线性