attention
左手指月
这个作者很懒,什么都没留下…
展开
-
Fine-tune BERT for Extractive Summarization中文数据集LCSTS复现
目前有关于Fine-tune BERT for Extractive Summarization代码只有英文数据集,未曾包含中文LCSTS的数据集,疫情在家期间尝试将代码转换到中文数据集中。**一、数据转换篇**根据源代码中对数据格式的要求,一个story文件中包含原文和摘要,以@highlight进行区分。所以我们首先需要将原LCSTS数据集进行转换,原数据集的格式如下:经过转换后的数...原创 2020-03-15 10:30:51 · 2084 阅读 · 10 评论 -
如何将Attention机制加入到NLP应用中
主要参考tensorflow官网案例进行理解,帮助新人进行理解,也方便自己的查询记忆!将Attention机制应用到NLP领域中编码端正常进行编码,attention机制主要是应用在解码端部分!框架使用的是keras框架,虽然与tensorflow框架稍有不同,但是并不妨碍如何运用attention机制的理解!解码端attention计算定义,通过相应计算将编码端的输出、及隐藏状态投...原创 2019-12-08 17:59:57 · 344 阅读 · 0 评论 -
Attention机制、self-attention机制原理及计算
Attention、self-attention机制理解Attention原理理解个人理解假定源文档source,其中的每一个词为value,并且给每一个词进行编号key。query暂时理解为需求,用来预测相关的query。导入如果你想加载一篇你写过的.md文件,在上方工具栏可以选择导入功能进行对应扩展名的文件导入,继续你的创作。...原创 2019-12-08 17:18:37 · 1410 阅读 · 1 评论