文本生成
文章平均质量分 82
victorup
这个作者很懒,什么都没留下…
展开
-
沐神学习笔记:GPT,GPT-2,GPT-3
课程连接:GPT,GPT-2,GPT-3 论文精读【论文精读】 本文混合课程内容及自己的思考,若有理解有误的地方请指正,谢谢! 开篇介绍 GPT-3有很多应用,比如github copilota,可以根据注释来生成代码 论文时间轴 GPT论文解读 Improving Language Understanding by Generative Pre-Training, OpenAI 摘要 GPT是把计算机视觉成熟的预训练的方法应用到NLP上 利用无标注的数据进行预训练 只需要改变输入就可以实现不同的原创 2022-03-29 11:43:01 · 2740 阅读 · 0 评论 -
可控文本生成技术
介绍 Prabhumoye 等人[1]对可控的文本生成技术进行了综述,神经控制文本生成是一个重要的研究领域,因其应用的广泛性而备受关注。这篇论文中提供了一个 新的模式的流水线生成过程,把它分为五个模块,包括外部输入控制、序列输入控制、生成器控制、输出控制及训练控制。 ① 外部输入: a) 引入外部可控向量 s 作为输入。引入的方法有: 1.concatenation: h0 = [he; s]; 2. linear transform: h0 = tanh(w1 he + w2 s + b)。其中he为原创 2022-03-29 11:28:14 · 1171 阅读 · 0 评论