R语言自动提取新闻摘要的简单实现

最新推荐文章于 2024-04-10 09:32:14 发布
最新推荐文章于 2024-04-10 09:32:14 发布
阅读量4.9k 收藏 10
点赞数 2
文章标签： r语言 textRank 生成摘要
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37730167/article/details/73771319
版权
本文介绍如何在R语言中实现textRank算法提取新闻摘要。通过jiebaR包和dplyr包，作者成功将python的textRank算法转化为R代码，实现了自动摘要功能，有助于理解和应用textRank算法。
摘要由CSDN通过智能技术生成

之前用R做过一些文本处理的工作，主要就是对新闻做做分类、提取关键词之类的，通过jiebaR包和自定义词典可以轻松地完成大部分工作，分类也就是整理一下各类别的特征然后跑一个分类模型就能得到比较满意的结果，唯独自动生成摘要这块一直没有找到很好的解决方法，没有找到R中现成的工具包。由于写代码能力也比较捉鸡，所以参考了java和python中的代码之后还是无法写出像样的程序出来。于是最终的解决方案就是把文章的前几句话截取出来当成摘要，效果可想而知...

随着对R和python越来越熟悉，并且最近读到了一篇详细讲解python实现textRank算法的文章（《你还在被标题党蒙骗吗？是时候试试文本摘要技术了（附源码）》），于是动手试了一下将其改成R代码，经过一番“艰苦”的搬运之后终于能在R中实现自动提取摘要的功能了。

textRank算法的原理就不过多介绍了（想了解的可以参考

最低0.47元/天 解锁文章
Big_Zhu
关注
用R语言深度学习实现文本摘要生成：从长文本中提炼精华
m0_52343631的博客
09-17 114
文本摘要生成是自然语言处理领域的一个重要任务，它能够自动从长篇文本中提炼出关键信息，以生成精炼的摘要。本篇博客介绍了如何使用R语言和深度学习技术来构建一个文本摘要生成系统，包括数据预处理、编码器-解码器模型的构建、模型的训练和评估等关键步骤。模型的输入是文章和摘要的数字序列，输出是摘要的数字序列。您可以根据任务的复杂性和数据集的大小来调整模型的架构。在本示例中，我们将使用一个小型的示例数据集，其中包含了一些新闻文章和与之相关的摘要。上述代码将使用模型生成摘要，并计算ROUGE指标来评估生成摘要的质量。
厉害了！新闻类网页正文通用抽取器（一）
muzico425的博客
09-09 873
作者：kingname公众号：未闻Code项目起源开发这个项目，源自于我在知网发现了一篇关于自动化抽取新闻类网站正文的算法论文——《基于文本及符号密度的网页正文提取方...
使用Crawler对腾讯新闻进行数据爬取并保存入库
weixin_33950035的博客
04-05 150
2019独角兽企业重金招聘Python工程师标准>>> ...
Python3 + MySQL实现网易新闻的多进程抓取（附源代码）
@黑猫省长 的博客
02-18 1272
网址：https://3g.163.com/touch/news/?ver=c&clickfrom=index2018_header（手机网易新闻网） 所需模块如下： 标准库： time; json 第三方库： requests; lxml; multiprocessing; pymysql 为了提高代码复用性，用户希望爬取的新闻页数在程序执行时均由用户输入 ...
python实现英文新闻摘要自动提取_自然语言处理之自动摘要
weixin_39616003的博客
12-17 1628
利用计算机将大量的文本进行处理，产生简洁、精炼内容的过程就是文本摘要，人们可通过阅读摘要来把握文本主要内容，这不仅大大节省时间，更提高阅读效率。但人工摘要耗时又耗力，已不能满足日益增长的信息需求，因此借助计算机进行文本处理的自动文摘应运而生。近年来，自动摘要、信息检索、信息过滤、机器识别、等研究已成为了人们关注的热点。自动摘要(Automatic Summarization)的方法主要有两种：Ex...
Python 实现英文新闻摘要自动提取 1
qq_43680030的博客
01-12 861
Python 实现英文新闻摘要自动提取 1
R语言自然语言处理：关键词提取与文本摘要（TextRank）
R语言中文社区
03-18 6364
作者：黄天元，复旦大学博士在读，目前研究涉及文本挖掘、社交网络分析和机器学习等。希望与大家分享学习经验，推广并加深R语言在业界的应用。邮箱：huang.tian-yuan...
SnowNLP：•中文分词•词性标准•提取文本摘要,•提取文本关键词,•转换成拼音•繁体转简体的 处理中文文本的Python3 类库...
weixin_34409741的博客
12-04 493
  SnowNLP是一个python写的类库，可以方便的处理中文文本内容，是受到了TextBlob的启发而写的，由于现在大部分的自然语言处理库基本都是针对英文的，于是写了一个方便处理中文的类库，并且和TextBlob不同的是，这里没有用NLTK，所有的算法都是自己实现的，并且自带了一些训练好的字典。 Features • 中文分词（Character-Based Generative Mode...
R爬虫新闻文章
weixin_41018824的博客
01-15 578
library(rjson) library(rvest) library(tcltk) library(RMySQL) library(DBI) library(sqldf) #76,6504469694752227853 1, 6475547135747031309 pb <- tkProgressBar("进度","已完成 %", 0, 100) #开启进度条以及表头 start<-S
深度学习：将新闻报道按照不同话题性质进行分类
tyler_download的专栏
06-27 2350
深度学习的广泛运用之一就是对文本按照其内容进行分类。例如对新闻报道根据其性质进行划分是常见的应用领域。在本节，我们要把路透社自1986年以来的新闻数据按照46个不同话题进行划分。网络经过训练后，它能够分析一篇新闻稿，然后按照其报道内容，将其归入到设定好的46个话题之一。深度学习在这方面的应用属于典型的“单标签，多类别划分”的文本分类应用。 我们这里采用的数据集来自于路透社1986年以来的报道，数...
使用R语言实现自动文摘
sybh的博客
05-11 98
最后，我们可以根据关键词来生成摘要。我们将原文分成句子，然后选择包含关键词最多的句子作为摘要。# 分句"))# 计算每个句子的关键词频率})# 选择关键词频率最高的句子作为摘要最后，我们可以根据主题词来生成摘要。我们将原文分成句子，然后选择与主题词相关性最高的句子作为摘要。# 计算每个句子的主题词相关性})# 选择主题词相关性最高的句子作为摘要。
TextRank总结
最新发布
2301_79012932的博客
04-10 263
其中，\( \text{Score}(V_i) \) 是节点 \( V_i \) 的权重，\( d \) 是阻尼因子（一般取值为0.85），\( \text{In}(V_i) \) 是指向节点 \( V_i \) 的节点集合，\( \text{OutDegree}(V_j) \) 是节点 \( V_j \) 的出度（即指向其他节点的边的数量）。4. **提取关键词或生成摘要**：根据节点的权重，可以提取权重较高的词语作为关键词，或者根据节点在文本中的位置和权重生成文本摘要。
TextRank算法
doswynkfsw的博客
01-07 1226
TextRank算法来自于PageRank算法 PageRank算法首先给每个网页一个PR值，由于PR值物理意义为一个网页被访问的概率，所以一般为1N\frac{1}{N}N1​, 通常PR值的总和为1。这是一种迭代算法，PR值越大，表示网页的重要性越大。 https://blog.csdn.net/u013007900/article/details/88961913 PR(u)=∑v∈BuPR(v)L(v) P R(u)=\sum_{v \in B_{u}} \frac{P R(v)}{L(v)}
R语言中文分词包jiebaR
fens的博客
07-21 2809
R的极客理想系列文章，涵盖了R的思想，使用，工具，创新等的一系列要点，以我个人的学习和体验去诠释R的强大。 R语言作为统计学一门语言，一直在小众领域闪耀着光芒。直到大数据的爆发，R语言变成了一门炙手可热的数据分析的利器。随着越来越多的工程背景的人的加入，R语言的社区在迅速扩大成长。现在已不仅仅是统计领域，教育，银行，电商，互联网….都在使用...
在运行ts()函数时提示Error in ts(temp):argument "s" is missing,with no default 怎么办
weixin_44463884的博客
04-14 1万+
在运行ts()函数时提示Error in ts(temp):argument “s” is missing,with no default 怎么办 遇见这种问题，可以尝试点击右上角小扫把，把之前系统保存的变量和预设全部删除，接着再运行一次就可以了（记得从library(“tseries”)开始） ...
Selenium错误提示
热门推荐
沐风麟的博客
05-22 2万+
推荐的导入风格如下： from selenium import webdriver 　　然后，你可以这样访问所有的类： webdriver.Firefox webdriver.FirefoxProfile webdriver.Chrome webdriver.ChromeOptions webdriver.Ie webdriver.Opera webdriver.Phanto
R软件中jiebaR包分词和用python中jieba分词以及做关键字提取及LDA模型
luoyexuge的专栏
10-16 1万+
对于一个软件来讲，若是开源其发展速度是很快的，在R软件中，去年年底就发布了jiebaR分词包，上学的那会jieba包总是出现在python中，没想到在R软件中也用的到，这不全几天接了点私活，正好要用到R软件做分词，正好学习下这个包，总体来讲这个包还是蛮强大的，中文分词很准确，能快速的上手，直接上代码： library(jiebaRD) library(jiebaR) # library(
R语言自然语言处理：关键词提取（TF-IDF）
R语言中文社区
03-14 1万+
作者：黄天元，复旦大学博士在读，目前研究涉及文本挖掘、社交网络分析和机器学习等。希望与大家分享学习经验，推广并加深R语言在业界的应用。邮箱：huang.tian-yuan...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值