![](https://img-blog.csdnimg.cn/20190918135101160.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Attention
文章平均质量分 96
注意力机制
哇咔咔负负得正
这个作者很懒,什么都没留下…
展开
-
Pytorch BERT
环境使用 Kaggle 里免费建立的 Notebook教程使用李沐老师的 动手学深度学习 网站和 视频讲解小技巧:当遇到函数看不懂的时候可以按 查看函数详解。原本的 Transformer 编码器是双向的,解码器才是单向的,BERT 只使用其编码器,使编码器进行改进,变成了完形填空。特殊分类标记 “” 的 BERT 表示对整个输入文本序列的信息进行编码。作为输入单个文本的表示,它将被送入到由全连接(稠密)层组成的小多层感知机中,以输出所有离散标签值的分布。3.1 输入表示下面的 将一个.....原创 2022-06-18 16:18:54 · 2868 阅读 · 0 评论 -
Pytorch Transformer
环境使用 Kaggle 里免费建立的 Notebook教程使用李沐老师的 动手学深度学习 网站和 视频讲解小技巧:当遇到函数看不懂的时候可以按 查看函数详解。数学语言表达:bbb:表示一个 batch 有多少句子,nnn:表示句子有多少个单词,ddd 表示每个单词向量的维度训练时:Decoder 第一个带掩码的多头注意力的 K,V,来自本身的 Q,第二个多头注意力的 K,V 来自 Encoder预测时:K,V 来自 Decoder 的上一时刻的输出作为 K,V2.1 多头注意力使多个头并行(为了省原创 2022-06-14 18:46:52 · 6679 阅读 · 2 评论 -
Pytorch 自注意力和位置编码
环境使用 Kaggle 里免费建立的 Notebook教程使用李沐老师的 动手学深度学习 网站和 视频讲解小技巧:当遇到函数看不懂的时候可以按 查看函数详解。yi=f(xi,(x1,x1),…,(xn,xn))∈Rd\mathbf{y}_i = f(\mathbf{x}_i, (\mathbf{x}_1, \mathbf{x}_1), \ldots, (\mathbf{x}_n, \mathbf{x}_n)) \in \mathbb{R}^dyi=f(xi,(x1,x1),…,(xn,xn原创 2022-06-13 22:05:06 · 3315 阅读 · 0 评论 -
Pytorch 注意力分数
环境使用 Kaggle 里免费建立的 Notebook教程使用李沐老师的 动手学深度学习 网站和 视频讲解小技巧:当遇到函数看不懂的时候可以按 查看函数详解。注意力汇聚(Pooling)表达式:f(x)=∑iα(x,xi)yi=∑i=1nsoftmax(−12(x−xi)2)yif(x) = \sum_i{\alpha(x, x_i)y_i} = \sum_{i=1}^{n}softmax(-\frac{1}{2}(x-x_i)^2)y_if(x)=i∑α(x,xi)yi=i=1∑nsoftma原创 2022-06-12 23:36:43 · 672 阅读 · 0 评论 -
Pytorch 注意力机制
环境使用 Kaggle 里免费建立的 Notebook教程使用李沐老师的 动手学深度学习 网站和 视频讲解小技巧:当遇到函数看不懂的时候可以按 查看函数详解。不随意线索(无意识注意):想读书:随意线索(有意识地注意)非参就是不学习参数。1exp(−2u2)那么:f(x)=∑i=1nexp(−12(x−xi)2)∑j=1nexp(−12(x−xj)2)yi=∑i=1nsoftmax(−12(x−xi)2)yi\begin{aligned}f(x) &=\sum_{i=1}^{n} \原创 2022-06-12 18:43:10 · 1627 阅读 · 2 评论