摘要生成
自然语言处理
篱下浅歌生
这个作者很懒,什么都没留下…
展开
-
基于聚类的文本摘要实现
文章目录基于聚类的文本摘要实现一、文件目录二、聚类摘要(main.py)实验结果基于聚类的文本摘要实现实现步骤:一、文件目录二、聚类摘要(main.py)import reimport torchfrom transformers import BertTokenizer#中文分词器from transformers import AlbertModel#Albert预训练模型获得embeddingfrom nltk.cluster import KMeansClusterer#k均原创 2022-05-03 11:32:47 · 938 阅读 · 0 评论 -
TextRank方法的优化——MMR(最大边界相关算法)
文章目录TextRank方法的优化——MMR(最大边界相关算法)一、文件目录二、TextRank(main.py)实验结果TextRank方法的优化——MMR(最大边界相关算法)TextRank的优点:在于不需要标注数据,不需要进行预训练,效果尚可。但是缺点也很明显。从其核心思想可以看出来,它挑选摘要句时会侧重于挑选那些与很多句子相似度高的句子。因此,最后会导致挑选的很多句子冗余度比较高,从而遗漏一些带有其他主题信息却“势单力薄“的句子。MMR算法:又叫最大边界相关算法,此算法在设计之初是用来计原创 2022-05-02 17:16:36 · 1154 阅读 · 3 评论 -
基于图排序的方法:TextRank (中文摘要)
文章目录基于图排序的方法:TextRank一、文件目录二、语料集三、数据处理(bulid_data.py)(data_utils.py)四、NERModel模型(ner_model.py)五、BiLSTM-CRF+ELMO模型训练流程(ner_learner.py)六、计算loss值(CRF)七、训练(train.py)八、测试(test.py)实验结果基于图排序的方法:TextRank原理:重要的页面容易为其他页面引用一、文件目录二、语料集CoNLL 2003 NER :数据集第一列原创 2022-04-30 16:57:37 · 569 阅读 · 0 评论 -
基于TextRank算法的单领域多文本摘要(英文摘要)
文章目录基于TextRank算法的单领域多文本摘要一、实现步骤二、语料 tennis_articles_v4.csv三、实现代码四、实现效果基于TextRank算法的单领域多文本摘要一种抽取式的无监督的文本摘要方法详细介绍可看:http://blog.itpub.net/31562039/viewspace-2286669/https://www.analyticsvidhya.com/blog/2018/11/introduction-text-summarization-textrank-py原创 2021-11-30 19:51:19 · 730 阅读 · 0 评论