m0_47005029的博客

先简单了解一下自编码器，也就是常说的。包括一个编码器（Encoder）和一个解码器（Decoder）。其结构如下：自编码器是一种先把输入数据压缩为某种编码, 后仅通过该编码出原始输入的结构. 从描述来看, AE是一种方法.AE的结构非常明确, 需要有一个的Encoder和就一个相应的Decoder为什么要用VAE，原来的Auto Encoder有什么问题呢？那面下面是一个直观的解释。下图是。

首先我们看一张图，它是一张关于卷积的操作：然后在看关于全连接的操作：从上面两张图中可以看出卷积的过程和全连接的过程，我们利用粉色的卷积核在image上进行卷积，进行内积计算得到输出值3，如下图；那么在全连接中是如何实现的呢？其实在全连接中相当于将6✖️6的image，也就是把6✖️6的36个pixel拉直成向量作为输入，在上图中的右边可以看到一个粉色的神经元里面的输出结果是3，它是通过一些线连接到刚才的向量上，这些线是带有权重的；

在这篇论文中，我们提出了一种高效的移动NLP架构——Lite Transformer，以在边缘设备上部署移动NLP应用。Transformer已经成为自然语言处理（例如机器翻译、问答系统）中无处不在的技术，但要实现高性能需要大量计算资源，这使得它在硬件资源和电池方面受限的移动应用中并不适用。

假设我们今天的图像生成任务是拿一段文字生成一张图，一张图所包含的信息是胜过千言万语的，而你输入的文字只不过是其中的一部分，所以说给一个句子生成的图像是有多种可能的。也就是输出是一个分布，在这个分布内的都可以说是正确答案今天的影像生成的模型都有一个共同的套路，并不是直接给一段文字就输出，而是有一个额外的输入，这个额外的输入的是从某一个distribution（简单的你长什么样的distribution）sample出来的一个向量（高维），如果我们把文字用y来描述，影像用x来描述，那么正确答案就可以写成p。

我们可以通过眼睛看到各种各样的事物，感知世界上的大量信息；可以让自己免受海量信息的干扰，是因为人的选择能力，可以，而。同样，希望网络也具有这种能力，从而在网络中引入了注意力机制。注意力机制，是对输入进行加权再输出，希望网络关注到的地方给较大的权重，不希望网络注意的地方给较小的权重。

参考其他博文总结的几种Normalization

最全的介绍关于Swin-Transformer

深度学习之各种卷积了解知识