NLP知识补充学习
文章平均质量分 76
记录一些NLP学习的补充知识
梆子井欢喜坨
这个作者很懒,什么都没留下…
展开
-
NLP基础知识点:Seq2Seq中的注意力机制到底怎么用?
最近在做李宏毅深度学习2020作业8:Seq2Seq时,非常纠结一点,注意力值算出来用在哪儿?在作业的BASE版本上加上注意力后,机器翻译的效果并没有提升,因此决定梳理一番。本文主要关注attention用谁计算,以及计算出来如何使用,而不再赘述计算过程。1. 原论文中attention应该是做一个语义信息的补充功能。简要说明一下公式定义,cic_ici代表iii时刻计算出的注意力向量,sis_isi为iii时刻输出的hidden,yiy_iyi为iii时刻输出的word根据原论文中的公原创 2021-04-30 11:42:15 · 389 阅读 · 0 评论 -
NLP基础知识点:GRU模型结构与公式的梳理
目录原创 2021-04-25 16:04:23 · 2695 阅读 · 0 评论