文本摘要
文章平均质量分 79
XD101DX
这个作者很懒,什么都没留下…
展开
-
NLP文本摘要NO.4 seq2seq模型部分(超详细维度解析)
在模型类的实现过程中, 为了代码的解耦和结构清晰, 总共需要完成以下几个函数的实现: 根据前面的数据处理可以得到: 转换为numpy数组的形状如下: train_X的shape为: (82871, 314) train_Y的shape为: (82871, 40) test_X的shape为: (20000, 314) 前面保存数据的代码: np.save(train_x_path, train_X) np.save(train_y_path, train_Y)np.save(test_x_path,原创 2022-05-06 15:20:13 · 973 阅读 · 4 评论 -
NLP文本摘要NO.3 seq2seq数据处理部分
seq2seq实现文本摘要的架构 编码器端负责将输入数据进行编码, 得到中间语义张量. 解码器端负责一次次的循环解析中间语义张量, 得到最终的结果语句. 一般来说, 我们将注意力机制添加在解码器端. 对比于英译法任务, 我们再来看文本摘要任务下的seq2seq架构图: 编码器端负责进行原始文本的编码. 注意力层结合编码张量和解码器端的当前输入, 得到总体上的内容张量. 最后在注意力机制的指导下, 解码器端得到完整的单词分布, 解码出当前时间步的单词. ...原创 2022-05-05 11:42:12 · 2903 阅读 · 0 评论 -
NLP文本摘要NO.2 TextRank算法
借鉴:http://121.199.45.168:8818/2_1/ TextRank算法的概念 对比于衡量网页重要性的PageRank算法, TextRank算法用于衡量哪些单词是关键词, 类比之下的算法思想也就很好理解了: 如果一个单词出现在很多单词的后面, 就是它和很多单词有关联, 那么说明这个单词比较重要. 如果一个TextRank值很高的单词后面跟着另一个单词, 那么后面这个单词的TextRank值也会相应的被提高. 可看论文加深理解:原始TextRank论文 TextRank算法代码实践 关键词原创 2022-04-26 13:27:41 · 2337 阅读 · 0 评论 -
NLP文本摘要NO.1
什么是文本摘要任务 本质: 文本摘要任务就是利用模型自动完成关键信息的抽取, 文本核心语义的概括, 用一个简短的结果文本来表达和原文本同样的意思, 并传达等效的信息. 例如: 中学语文课的中心思想概括. 新浪体育上的体育新闻短评. 今日头条上的每日重要新闻概览. 英语考试中的概括某段落信息的选择题. 文本摘要的基本方法和思路. 从NLP的角度看待文本摘要任务, 主流的涵盖两大方法: 抽取式摘要: Extraction-based 生成式摘要: Abstraction-based 抽取式摘要(Extracti原创 2022-04-26 13:04:13 · 1409 阅读 · 0 评论