WebCollector网页正文提取

最新推荐文章于 2022-03-16 20:06:17 发布
最新推荐文章于 2022-03-16 20:06:17 发布
阅读量4.9k 收藏 1
点赞数
分类专栏： webcollector 文章标签： JAVA爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AJAXHu/article/details/50674121
版权
WebCollector维护了ContentExtractor类，提供静态方法用于网页正文和结构化新闻的抽取。算法在CleanEval数据集上表现良好，但在不同类型的网页上效果可能各异。建议在实际应用中，基于大量数据测试Precision、Recall和F值。此外，项目作者鼓励通过捐款支持项目的维护和发展。
摘要由CSDN通过智能技术生成

网页正文提取项目ContentExtractor已并入WebCollector维护。
WebCollector的正文抽取API都被封装为ContentExtractor类的静态方法。 可以抽取结构化新闻，也可以只抽取网页的正文（或正文所在Element)。
正文抽取效果指标 :

比赛数据集CleanEval P=93.79% R=86.02% F=86.72%

常见新闻网站数据集 P=97.87% R=94.26% F=95.33%

算法无视语种，适用于各种语种的网页。

标题抽取和日期抽取使用简单启发式算法，并没有像正文抽取算法一样在标准数据集上测试，算法仍在更新中。

调用方法：

News news = ContentExtractor.getNewsByHtml(html, url);
News news = ContentExtractor.getNewsByHtml(html);
News news = ContentExtractor.getNewsByUrl(url);

String content = ContentExtractor.getContentByHtml(html, url);
String content = ContentExtractor.getContentByHtml(html);
String content = ContentExtractor.getContentByUrl(url);

Element contentElement = ContentExtractor.getContentElementByHtml(html, url);
Element contentElement = ContentExtractor.getContentElementByHtml(html);
Elem
最低0.47元/天 解锁文章
AJAXHu
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
html提取正文,网页正文提取工具Readability
weixin_35952362的博客
07-02 945
什么是Readability？如果你在网上看到一篇不错的文章想收藏起来稍后再读，却又不想同时保存那一大堆花花绿绿的广告或无关紧要的一些网页元素，那么你可以试试 Readability 了！Readability 是一个颇有特色的“稍后阅读”网络收藏夹服务，除了在你看到喜欢的文章时可以收藏下来之外，它最大的特点在于它能自动智能地剔除网页上一些不重要的元素并重新排版，仅为你呈现干净整洁的正文部分，使你...
WebCollector爬虫、网页正文提取
02-23
WebCollector爬虫、网页正文提取
搜索引擎当前主流正文提取的思路
Life
10-20 1541
网页由于格式千变万化，要找到一种能提取任意网页正文的算法，并能达到应用需要的准确度，具有一定难度。因此，总避免不了在提取程序中添加一些规则，对不同的网页类型作不同处理。另外，有人利用开源的Tidy,把不规范的网页规范化，然后利用DOM Tree，把包含正文的...提取出来，然后去除其中的链接信息。 还有一种简单的方法：对网页中的所有 ...，计算其中所含内容中的中文标点符号，并结合内容中所包含的链
网页正文提取方法一二
weixin_33936401的博客
06-29 297
2019独角兽企业重金招聘Python工程师标准>>> ...
对HTML网页正文进行提取
DedicateToAI的博客
02-02 3442
写这么一个算法，能够从过滤html标签后的文本中找到正文文本的起止行号，行号之间的文本就是网页正文部分。 有一个规律：正文部分的文本密度要高出非正文部分很多。我们按照这个特性就可以很容易将算法实现，那就是基于阈（读音：yu）值去分析正文所在的位置。 那么接下来就需要解决一些问题： 如何确定阈值？ 如何分析，一行行的分析？还是？ 阈值的确定可以通过统计分析得出一个比较好的值，我在实际处理过程...
网页正文提取方案
四宝汤的专栏
02-28 948
网页正文提取方案闲暇时间无聊，研究了下如何获取网页正文的方案。这里说的网页正文主要是针对博客、新闻等文章类的网页进行获取，筛选出正文主题的内容。关于方案网上常用的方案有如下几种： 1. 根据解析dom结构，利用标签的特性来获取。比如titile,h1一般表示标题，p一般大多数在正文。去计算的时候可以去设置一些权重的方案，比方说div下包含p +1分，包含li减分等等。 2. 根据文字密度的来
WebCollector 爬虫
10-15
WebCollector是一款基于Java开发的网页抓取框架，用于高效、智能地从互联网上抓取信息。这个框架的设计理念是易用、灵活和可扩展，使得开发者可以快速构建自己的网络爬虫项目，而无需从零开始编写复杂的网络请求和...
webcollector
11-01
WebCollector的核心功能是自动化地浏览互联网，提取所需信息，支持定制化的需求，比如按照特定规则抓取网页、解析HTML、处理JavaScript等。 【描述】中反复提到"爬虫技术相关包，webcollector jar包"，这表明...
红薯HtmlSucker0.0.1HTML网页信息提取工具包
07-24
HtmlSucker是一款用来从一个HTML网页中提取文章信息的小工具包，例如从网页中提取文章标题、作者、发布时间、 封面图以及文章正文内容。基于 jsoup 库进行 HTML 解析。 HtmlSucker 提供两种正文提取算法： 最大...
Html网页正文提取 Html2Article.zip
07-18
.NET平台下，一个高效的从Html中提取正文的工具。 正文提取采用了基于文本密度的提取算法，支持从压缩的Html文档中提取正文，每个页面平均提取时间为30ms，正确率到95%以上。 Html2Article有如下特点： 标签无关，提取正文不依赖标签。 支持从压缩的html文档中提取正文内容。 支持带标签输出原始正文。 核心算法简洁高效，平均提取时间在30ms左右。 使用示例： /// <summary> /// 文章正文数据模型 /// </summary> public class Article {     public string Title { get; set; }     /// <summary>     /// 正文文本     /// </summary>     public string Content { get; set; }     /// <summary>     /// 带标签正文     /// </summary>     public string ContentWithTags { get; set; }     public DateTime PublishDate { get; set; } }// html为你要提取的html文本 string html = "<html>....<html>"; Article article = Html2Article.GetArticle(html); 标签：网页提取  网页正文提取
基于机器学习的网页正文提取方法
03-01
先将网页转换为规范的 DOM 树 然后计算每行文本的文本密度 与标题相关度等值 并将其作为输入参数利用 BP 神经网络进行训练 进而形成抽取规则 最后通过实验验证该方法的可行性
web2text:论文“ Web2Text的源代码
05-07
Web2文字 源代码，ECIR '18上的全文 介绍 该存储库包含 Scala代码将（X）HTML文档解析为DOM树，将其转换为CDOM树，将树叶解释为一系列文本块，并为每个这些块提取特征。 这些功能之上的Python代码，用于训练和评估一元和成对的CNN。 可以使用所提供的Viterbi算法实现，基于CNN输出电势对隐马尔可夫模型进行推断。 src/main/resources/cleaneval/下的数据集： orig ：原始页面 clean ：参考干净的页面 aligned ：使用我们的论文中描述的对齐算法，按字符将干净的内容与相应的原始页面对齐 来自CleanEval上其他各种网页清洁器的输出，位于other_frameworks/output ： （Finn等，2001） （Kohlschütter等，2010）：默认提取器，文章提取器，最大内容提取器 （Geitg
常见的提取网页正文的方法
weixin_33871366的博客
09-04 448
Python readability的使用： from readability.readability import Document import urllib html = urllib.urlopen(url).read() readable_article = Document(html).summary() readable_title = Document(html).s...
常用网页正文提取方法总结
qq_29880515的博客
08-22 2501
最近研究这块内容头发快掉完，写一些东西来梳理梳理，以后写论文可能用得上。 1.基于模板的方法 依赖html文档内部结构特征来完成数据抽取。常用的一些有正则、xpath、selector css、beautifulsoup等等。 优点：针对特定的网页模式，实现简单（可以自己写或者借助半自动工具Google开发者工具、xpath helper插件等），定位准确。 缺点：对于不同的网页模式或者网页结构需...
WebCollector 网页正文提取算法(ContentExtractor)
热门推荐
AJAXHu的专栏
09-16 1万+
WebCollector 网页正文提取算法(ContentExtractor)WebCollector自2.10版起加入新闻网页正文自动提取功能(合并了hfut-dmic的ContentExtractor项目,WebCollector项目也属于hfut-dmic)。WebCollector的正文抽取API都被封装为ContentExtractor类的静态方法。 可以抽取结构化新闻，也可以只抽取网页
网页正文抽取（三）——boilerpipe算法
码农1479的博客
03-16 1659
Boilerpipe是一个非常优秀的网页正文抽取库，在抽取新闻和博客正文时，准确率非常高，基本开箱即用，著名的信息抽取工具Tika也使用了Boilerpipe作为网页内容自动提取的第三方库。
WebCollector 网页正文快速提取
蚩尤后裔-汪茂雄
08-14 4110
本文承接《WebCollector 简介与 快速入门》 正文提取简介 网页正文提取项目 ContentExtractor 已并入 WebCollector 维护。 WebCollector 的正文抽取 API 都被封装为 ContentExtractor（内容提取） 类的静态方法。 ContentExtractor 可以抽取结构化新闻，也可以只抽取网页的正文（或正文所在Element)。 ...
【转载保存】网页提取正文算法汇总
dreamzuora的博客
11-01 1490
正文抽取算法： 1.Html2Article ：http://www.cnblogs.com/jasondan/p/3497757.html 2.基于行块分布函数的网页正文抽取算法代码实现https://blog.csdn.net/leiguang55555/article/details/51959646 源码下载: https://blog.csdn.net/red4711/article/d...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值