![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
nlp
文章平均质量分 88
ZcsLv_zyq
这个作者很懒,什么都没留下…
展开
-
Attention、self-attention:从计算、公式的角度详解
参考: 这个视频量短而精 https://www.youtube.com/watch?v=XhWdv7ghmQQ GitHub - wangshusen/DeepLearning 以机器翻译、rnn-seq2se2引入attention为例 1.attention 最早提出attention的是15年的这篇论文 在encoder结束之后,output一个全局的s0,这包含了h1...hm的所有信息,同时s0也作为decoder的input。 用权重apha表示s和h的相关性,..原创 2021-12-17 11:49:27 · 647 阅读 · 0 评论 -
bilstm_crf中crf
首先如果我们想像一下,如果没有加crf,billstm能不能做序列标注,也可以。它其实就是转化为了一个多分类问题,但是加入了crf时,就加入了一个约束,效果会更准确。至于这个约束到底是什么?后文会提到。 围绕这两个问题来进行 效果为什么会更好? loss函数如何计算的? 线性crf又是什么? 问题1 看CRF的作用 以单词“中国”为例,它的真实标注应该是“B I",中国=“B I",但是经过lstm之后,选用得分最高对应的标签,得到的是”BB",这是通过得分...原创 2021-12-08 19:58:36 · 555 阅读 · 2 评论