互联网数据采集的应用场景非常广泛，一般用于 情报收集、舆情分析、竞争对手分析、学术研究、市场分析、用户口碑监测 ，在数据采集的过程中大多数网站都是以标题，时间，摘要，作者，来源，正文等形式展现，但是会遇到千千万万种不同结构的网页，开发者不可能对每种不同的网页格式逐一编写代码解析，那样的话，太耗时耗力了，而且维护起来也很不方便。
所以，我们会想到采用一种算法对90%以上的网页内容解析，能达到一劳永逸的效果。
这也是一个较高难度的技术实现方式。
在采集之前会对整个站点或采集目标做一个画像，这个画像是自动生成的，
画像主要提取这几个方面的特征：站点首页、站点栏目、列表页面、详情页面、URL特征。
今天先来说说对 网页内容自动识别与提取的实现，对导航栏、列表页自动识别的实现 将在其他文章内容中介绍。
识别详情页的正文内容 主要是通过文章的标点符号和文章文本的蜜度，以及html < > 符号的蜜度，主要根据这3点进行判断正文的区域。
但是，遇到详情页面里面是图片，图片里面有文字，这张图片就是正文内容，那么就需要通过 OCR 文字识别以及<img>的标签判断，才能准确的识别。
正文抽取的解决方案主要思路：
1、对所有新闻网站的构建内容特征库。其实也很快，估计一个网站用时20分钟就可以了。200主流媒体，也花不了1天的时间，而且准确100%！
2、想研究一个放之四海而皆准的方案。参考知网一篇文章《基于文本及符号密度的网页正文提取方法》，以及一些相关机器学习等思路的算法。但是都会存在一些先天的痼疾。本项目也是如此。如果找一篇正文内容只有1行字，或者是图片多于文字的这种网页，准确率就下降了。
在“思通舆情”项目中实践的技术框架
1.GeneralNewsExtractor (Python)
传说中这个最准，号称100%。GNE在提取今日头条、新浪，腾讯新闻等数百个中文新闻网站上效果非常出色，几乎能够达到100%的准确率。
开源项目地址：https://github.com/GeneralNewsExtractor/GeneralNewsExtractor
使用Flask框架整合GeneralNewsExtractor就可以对外提供web服务，大大增强了可扩展性。
【Java】使用Java调用Python的四种方法_FFIDEAL的博客-CSDN博客_java调用python
2.WebCollector/ContentExtractor (Java)
Java界中算是评价最高的，虽然代码更新停止在3年前。
https://gitee.com/webcollector/ContentExtractor
https://github.com/CrawlScript/WebCollector
3.HtmlSucker (Java)
HtmlSucker首页、文档和下载 - HTML 正文提取工具 - OSCHINA - 中文开源技术交流社区
作者在 WebCollector 的基础上做了二次开发，HtmlSucker是一个用来从一个网页中提取文章信息的小工具包，例如从网页中提取文章标题、作者、发布时间、 封面图以及文章正文内容。基于 jsoup 库进行 HTML 解析。
上述3种技术框架，我们已经整合成一套服务总线，目前用于思通舆情的网页正文自动识别，
面向所有网站自动识别，根据评分对应不同类型的网站采用不同的技术框架。
请关注我们发布的开源项目。
https://gitee.com/stonedtx/yuqing参考文献，希望对你有用
241
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
