WebCollector网页正文提取

最新推荐文章于 2023-07-03 18:10:37 发布
VIP文章 最新推荐文章于 2023-07-03 18:10:37 发布
阅读量4.9k 收藏 1
点赞数
分类专栏： webcollector 文章标签： JAVA爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ajaxhu/article/details/50674121
版权

网页正文提取项目ContentExtractor已并入WebCollector维护。
WebCollector的正文抽取API都被封装为ContentExtractor类的静态方法。 可以抽取结构化新闻，也可以只抽取网页的正文（或正文所在Element)。
正文抽取效果指标 :

比赛数据集CleanEval P=93.79% R=86.02% F=86.72%

常见新闻网站数据集 P=97.87% R=94.26% F=95.33%

算法无视语种，适用于各种语种的网页。

标题抽取和日期抽取使用简单启发式算法，并没有像正文抽取算法一样在标准数据集上测试，算法仍在更新中。

调用方法：

News news = ContentExtractor.getNewsByHtml(html, url);
News news = ContentExtractor.getNewsByHtml(html);
News news = ContentExtractor.getNewsByUrl(url);

String content = ContentExtractor.getContentByHtml(html, url);
String content = ContentExtractor.getContentByHtml(html);
String content = ContentExtractor.getContentByUrl(url);

Element contentElement = ContentExtractor.getContentElementByHtml(html, url);
Element contentElement = ContentExtractor.getContentElementByHtml(html);
Elem
最低0.47元/天 解锁文章
AJAXHu
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
WebCollector爬虫、网页正文提取
02-23
WebCollector爬虫、网页正文提取
搜索引擎当前主流正文提取的思路
Life
10-20 1518
网页由于格式千变万化，要找到一种能提取任意网页正文的算法，并能达到应用需要的准确度，具有一定难度。因此，总避免不了在提取程序中添加一些规则，对不同的网页类型作不同处理。另外，有人利用开源的Tidy,把不规范的网页规范化，然后利用DOM Tree，把包含正文的...提取出来，然后去除其中的链接信息。 还有一种简单的方法：对网页中的所有 ...，计算其中所含内容中的中文标点符号，并结合内容中所包含的链
网页正文提取方法一二
weixin_33936401的博客
06-29 284
2019独角兽企业重金招聘Python工程师标准>>> ...
对HTML网页正文进行提取
DedicateToAI的博客
02-02 3430
写这么一个算法，能够从过滤html标签后的文本中找到正文文本的起止行号，行号之间的文本就是网页正文部分。 有一个规律：正文部分的文本密度要高出非正文部分很多。我们按照这个特性就可以很容易将算法实现，那就是基于阈（读音：yu）值去分析正文所在的位置。 那么接下来就需要解决一些问题： 如何确定阈值？ 如何分析，一行行的分析？还是？ 阈值的确定可以通过统计分析得出一个比较好的值，我在实际处理过程...
网页正文提取方案
四宝汤的专栏
02-28 927
网页正文提取方案闲暇时间无聊，研究了下如何获取网页正文的方案。这里说的网页正文主要是针对博客、新闻等文章类的网页进行获取，筛选出正文主题的内容。关于方案网上常用的方案有如下几种： 1. 根据解析dom结构，利用标签的特性来获取。比如titile,h1一般表示标题，p一般大多数在正文。去计算的时候可以去设置一些权重的方案，比方说div下包含p +1分，包含li减分等等。 2. 根据文字密度的来
WebCollector 爬虫
10-15
爬虫webcollector 框架，所有jar包。
WebCollector-2.71.jar
04-30
WebCollector所使用的jar包，WebCollector-2.71.jar。WebCollector 是一个无须配置、便于二次开发的 JAVA 爬虫框架（内核），提供精简的的 API，只需少量代码即可实现一个功能强大的爬虫。
WebCollector教程
09-10
WebCollector教程！
Webcollector demo
12-07
WebCollector 采集代码
html提取正文,网页正文提取工具Readability
weixin_35952362的博客
07-02 926
什么是Readability？如果你在网上看到一篇不错的文章想收藏起来稍后再读，却又不想同时保存那一大堆花花绿绿的广告或无关紧要的一些网页元素，那么你可以试试 Readability 了！Readability 是一个颇有特色的“稍后阅读”网络收藏夹服务，除了在你看到喜欢的文章时可以收藏下来之外，它最大的特点在于它能自动智能地剔除网页上一些不重要的元素并重新排版，仅为你呈现干净整洁的正文部分，使你...
Html网页正文提取 Html2Article.zip
07-18
.NET平台下，一个高效的从Html中提取正文的工具。 正文提取采用了基于文本密度的提取算法，支持从压缩的Html文档中提取正文，每个页面平均提取时间为30ms，正确率到95%以上。 Html2Article有如下特点： 标签无关，提取正文不依赖标签。 支持从压缩的html文档中提取正文内容。 支持带标签输出原始正文。 核心算法简洁高效，平均提取时间在30ms左右。 使用示例： /// <summary> /// 文章正文数据模型 /// </summary> public class Article {     public string Title { get; set; }     /// <summary>     /// 正文文本     /// </summary>     public string Content { get; set; }     /// <summary>     /// 带标签正文     /// </summary>     public string ContentWithTags { get; set; }     public DateTime PublishDate { get; set; } }// html为你要提取的html文本 string html = "<html>....<html>"; Article article = Html2Article.GetArticle(html); 标签：网页提取  网页正文提取
基于机器学习的网页正文提取方法
03-01
先将网页转换为规范的 DOM 树 然后计算每行文本的文本密度 与标题相关度等值 并将其作为输入参数利用 BP 神经网络进行训练 进而形成抽取规则 最后通过实验验证该方法的可行性
高效提取网页正文内容，轻松使用抓取API
最新发布
oGuJing123的博客
07-03 356
在这个信息爆炸的时代，我们每天都要面对大量的网页内容。而对于开发者来说，如何快速、准确地获取所需的网页正文内容是一项重要的任务。幸运的是，现在有了网页正文抓取API，它可以帮助我们轻松解决这个问题。下面我将分享一些关于网页正文抓取API的经验，希望对你有所帮助。1.选择可靠的API提供商首先
常见的提取网页正文的方法
weixin_33871366的博客
09-04 442
Python readability的使用： from readability.readability import Document import urllib html = urllib.urlopen(url).read() readable_article = Document(html).summary() readable_title = Document(html).s...
常用网页正文提取方法总结
qq_29880515的博客
08-22 2375
最近研究这块内容头发快掉完，写一些东西来梳理梳理，以后写论文可能用得上。 1.基于模板的方法 依赖html文档内部结构特征来完成数据抽取。常用的一些有正则、xpath、selector css、beautifulsoup等等。 优点：针对特定的网页模式，实现简单（可以自己写或者借助半自动工具Google开发者工具、xpath helper插件等），定位准确。 缺点：对于不同的网页模式或者网页结构需...
WebCollector 网页正文提取算法(ContentExtractor)
AJAXHu的专栏
09-16 1万+
WebCollector 网页正文提取算法(ContentExtractor)WebCollector自2.10版起加入新闻网页正文自动提取功能(合并了hfut-dmic的ContentExtractor项目,WebCollector项目也属于hfut-dmic)。WebCollector的正文抽取API都被封装为ContentExtractor类的静态方法。 可以抽取结构化新闻，也可以只抽取网页
网页正文抽取（三）——boilerpipe算法
码农1479的博客
03-16 1551
Boilerpipe是一个非常优秀的网页正文抽取库，在抽取新闻和博客正文时，准确率非常高，基本开箱即用，著名的信息抽取工具Tika也使用了Boilerpipe作为网页内容自动提取的第三方库。
WebCollector 2.x 入门教程
热门推荐
AJAXHu的专栏
08-06 3万+
WebCollector 2.x 入门教程
用WebCollector爬取新浪微博数据
AJAXHu的专栏
09-01 1万+
用WebCollector可以轻松爬取新浪微博的数据.
Java开源爬虫框架WebCollector教程
05-30
WebCollector是一个Java开源的爬虫框架，它提供了一系列简单易用的API，可以帮助开发人员快速、高效地开发爬虫程序。下面是使用WebCollector的教程： 1. 下载WebCollector 可以在WebCollector的官方网站...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值