NLP
文章平均质量分 77
小郭小郭学富五车
这个作者很懒,什么都没留下…
展开
-
GPT模型系列
GPT模型系列原创 2022-07-17 20:51:47 · 1263 阅读 · 1 评论 -
ELMO and BERT
ELMO and BERT原创 2022-07-16 22:20:35 · 285 阅读 · 0 评论 -
多头注意力机制 +代码解读
多头注意力机制总体描述这是原文的的图片,我们可以看到,Q,K,V 是三个固定值,分别通过一个Linear层进行映射,Linear层有3个,使用的注意力评分函数为Scaled Dot-Product Attentio , 有3个代表有3个头,最后将每个头的输出Concat在一起,然后再通过一个Linear层映射成和单头一样的输出。每个头都是注意力,每个头筛选到的信息不同,信息更加丰富,有利于最终模型取得更好的效果代码详解在论文中,多头自注意力是将q,k,v线性映射h次,再进行h次自注意力操作,得到原创 2022-01-27 14:04:56 · 17626 阅读 · 6 评论 -
Plan-And-Write: Towards Better Automatic Storytelling
文章链接:https://arxiv.org/pdf/1811.05701.pdf会议: AAAI 2019Abstract先是讲述之前的工作,要没实在情节规划方面做限制,要么是只能在狭窄的领域生成故事,最后提出自己的工作。We propose a plan-and-write hierarchical generation framework thatfirst plans a storyline, and then generates a story based on thestorylin原创 2021-10-14 09:38:08 · 192 阅读 · 0 评论