S10xuexi的博客

注意力机制广泛存在于现在的深度学习网络结构中，使用得到能够提升模型的学习效果。本文讲使用Pytorch实现多头自注意力模块。一个典型的自注意力模块由Q、K、V三个矩阵的运算组成，Q、K、V三个矩阵都由原特征矩阵变换而来，所以本质上来说是对自身的运算。而多头注意力机制则是单头注意力机制的进化版，把每次attention运算分组（头）进行，能够从多个维度提炼特征信息。具体原理可以参看相关的科普文章，下面是Pytorch实现。import torch.nn as nnclass MHSA(nn.Mod

pytorch的dataloader的__getittem__()方法，内部定义随机数，采用numpy.random.rand的方法，每次迭代从dataloader里取数据，都会产生拿到相同的随机数序列，相反，torch.rand的方法，每次迭代拿数据时，拿到的是不同的随机数序列。 # numpy生成随机数 def get_train_sample(self, ): track_idx = np.random.randint(0, len(self._tracks), (1, ))

NLP模型亮点Transformerself-attention, multi-head attentionCV