- 博客(3)
- 收藏
- 关注
RSS订阅原创 创新实训(12)-生成式文本摘要之T5
创新实训(12)-生成式文本摘要之T5 1.简介 T5：Text-To-Text-Transfer-Transformer的简称，是Google在2019年提出的一个新的NLP模型。它的基本思想就是Text-to-Text，即NLP的任务基本上都可以归为从文本到文本的处理过程。 上图就是论文中的一个图，形象的展示了“Text-To-Text”的过程。 2. 模型 在论文中，作者做了大量的实验，最终发现还是Encoder-Decoder的模型表现最好，最终就选择了它，所以T5是一个基于Transformer
2020-07-01 16:29:38
4509
7
原创 创新实训(11)-生成式文本摘要之BertAbs
创新实训(11)-生成式文本摘要之BertAbs 1.简介 这是一个EMNLP2019的paper Text Summarization with Pretrained Encoders 的学习记录 2.模型介绍 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kITDC9i6-1593584621882)(https://s1.ax1x.com/2020/07/01/NoqRdH.png)] 左边的是原始的Bert模型，右边的是用于文本摘要的Bert模型。 主要的区别是在最上
2020-07-01 14:27:36
1804
原创 创新实训(10)-提取式文本摘要之bert聚类
创新实训(10)-提取式文本摘要之bert聚类 1. 思路 使用bert作为预训练模型，利用bert生成的词向量进行下游任务的处理，在这篇论文中使用的是k-means计算词向量分布的重心作为文本摘要的候选句子。可以看作是聚类的一种形式。 2.代码分析 基于Pytorch的Transformers框架，使用预训练的Bert模型或者是其他的预训练模型生成词向量，然后使用k-means或者expectation-maximization算法进行聚类。 2.1 简单使用 首先先来测试一下readme里给的例子： f
2020-07-01 10:15:28
3351
6
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人