深度学习
文章平均质量分 66
hjc2020
这个作者很懒,什么都没留下…
展开
-
【基于Numpy】实现基本卷积运算
注释:输入为x: (10, 3, 36, 36), self.weight: (36, 3, 5, 5) 输出为卷积结果 (10, 36, 32, 32) for b in range(0, x.shape[0]): for c in range(self.weight.shape[0]): output = [] for i in range(0, x.shape[2], self.stride):原创 2022-02-17 18:19:20 · 2305 阅读 · 0 评论 -
浅谈Transformer模型细节
参考台大李宏毅:机器学习2021Transformer的直观理解Transformer本质上是一个seq2seq的模型,最早由《attention is all you need》提出,实际上是由编码和解码结构共同组成。广义上来说所有应用了self-attention的模型均可以称之为transformer,狭义上来说,Transformer是指该论文中提出的模型,如下图所示。如图所示,左边部分可以看出编码器组(Encoders),右边部分可以看成解码器组(Decoders)多个编码和解码器的叠原创 2021-08-04 12:21:00 · 467 阅读 · 0 评论 -
浅谈Self-attention自注意力机制
先从Intuition说起如何让序列自己“注意”到更有价值的信息?我们可以通过self-attention计算序列内部的关联性来实现。对数字信号,语音信号,图形等输入,我们都可以用特定的编码形式生成对应的向量组,对每个向量通过乘以特定的矩阵可以生成其对应的q, k, v,假设q是该向量想要获取的特征,k是该向量自身特征,v则是该向量的价值。那么self-attention的第一步则是,利用该向量的q查询向量组中所有向量(包括它自身的k),查询过程即为点乘。标注点乘结果为w,则记w11=q1k1,w12=原创 2021-08-04 01:42:29 · 946 阅读 · 0 评论