WebCollector从2.10版本开始提供新闻网页正文自动提取功能，结合hfut-dmic的ContentExtractor项目。该功能通过ContentExtractor类的静态方法实现，支持结构化新闻和纯正文抽取。算法对多种语种有效。尽管标题和日期抽取采用启发式算法，但正文抽取表现出色，如CleanEval数据集F值达到86.72%。源码可在GitHub上找到。
WebCollector自2.10版起加入新闻网页正文自动提取功能(与hfut-dmic的ContentExtractor项目合并)。
WebCollector的正文抽取API都被封装为ContentExtractor类的静态方法。
可以抽取结构化新闻，也可以只抽取网页的正文（或正文所在Element)。
正文抽取效果指标 :
- 比赛数据集CleanEval P=93.79% R=86.02% F=86.72%
- 常见新闻网站数据集 P=97.87% R=94.26% F=95.33%
- 算法无视语种，适用于各种语种的网页
标题抽取和日期抽取使用简单启发式算法，并没有像正文抽取算法一样在标准数据集上测试。
源码可在https://github.com/CrawlScript/WebCollector中下载，也可在https://github.com/CrawlScript/WebCollector中下载webcollector-version-bin.zip，解压后导入所有jar包。
需要了解的两个类 :
最低0.47元/天 解锁文章
扫一扫
357
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
