![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
文本摘要
文章平均质量分 79
XD101DX
这个作者很懒,什么都没留下…
展开
-
NLP文本摘要NO.4 seq2seq模型部分(超详细维度解析)
在模型类的实现过程中, 为了代码的解耦和结构清晰, 总共需要完成以下几个函数的实现:根据前面的数据处理可以得到:转换为numpy数组的形状如下:train_X的shape为: (82871, 314)train_Y的shape为: (82871, 40)test_X的shape为: (20000, 314)前面保存数据的代码:np.save(train_x_path, train_X)np.save(train_y_path, train_Y)np.save(test_x_path,原创 2022-05-06 15:20:13 · 994 阅读 · 4 评论 -
NLP文本摘要NO.3 seq2seq数据处理部分
seq2seq实现文本摘要的架构编码器端负责将输入数据进行编码, 得到中间语义张量.解码器端负责一次次的循环解析中间语义张量, 得到最终的结果语句.一般来说, 我们将注意力机制添加在解码器端.对比于英译法任务, 我们再来看文本摘要任务下的seq2seq架构图:编码器端负责进行原始文本的编码.注意力层结合编码张量和解码器端的当前输入, 得到总体上的内容张量.最后在注意力机制的指导下, 解码器端得到完整的单词分布, 解码出当前时间步的单词....原创 2022-05-05 11:42:12 · 2961 阅读 · 0 评论 -
NLP文本摘要NO.2 TextRank算法
借鉴:http://121.199.45.168:8818/2_1/TextRank算法的概念对比于衡量网页重要性的PageRank算法, TextRank算法用于衡量哪些单词是关键词, 类比之下的算法思想也就很好理解了:如果一个单词出现在很多单词的后面, 就是它和很多单词有关联, 那么说明这个单词比较重要.如果一个TextRank值很高的单词后面跟着另一个单词, 那么后面这个单词的TextRank值也会相应的被提高.可看论文加深理解:原始TextRank论文TextRank算法代码实践关键词原创 2022-04-26 13:27:41 · 2365 阅读 · 0 评论 -
NLP文本摘要NO.1
什么是文本摘要任务本质: 文本摘要任务就是利用模型自动完成关键信息的抽取, 文本核心语义的概括, 用一个简短的结果文本来表达和原文本同样的意思, 并传达等效的信息.例如:中学语文课的中心思想概括.新浪体育上的体育新闻短评.今日头条上的每日重要新闻概览.英语考试中的概括某段落信息的选择题.文本摘要的基本方法和思路.从NLP的角度看待文本摘要任务, 主流的涵盖两大方法:抽取式摘要: Extraction-based生成式摘要: Abstraction-based抽取式摘要(Extracti原创 2022-04-26 13:04:13 · 1416 阅读 · 0 评论