Miracle Fan的博客

Transformer在不同领域的应用

将输入序列转换为一个连续向量空间中的表示。Encoder通常是一个循环神经网络（RNN）或者卷积神经网络（CNN），通过对输入序列中的每个元素进行编码，得到一个连续向量序列。：将连续向量序列转换为输出序列。Decoder通常也是一个RNN或者CNN，它接收Encoder输出的向量序列作为输入，通过生成一个输出序列。

对于相对位置编码，在2维坐标系中，当偏移从0开始时，（2，1）和（1，2）相对（0，0）的位置编码是不同的，而转为1维坐标后，却是相同数值，为了解决这个问题，采用对x坐标2 * self.window_size[1] - 1操作，从而进行区分。而该相对位置编码需要2 * self.window_size[1] - 1编码数值。如下所示，w-msa mask避免窗口5和窗口3进行相似度计算，通过mask只在窗口内部进行计算。在图像切分重排中，采用的是使用patch size大小的conv2d进行实现。