VIT(Vision Transformer)系列论文汇总 虽然transformer有比较强的全局特征提取能力，但是没有偏置(局部特征提取能力受限)，计算量大，耗时(和分辨率的平方成正比的计算复杂度)等。笔者认为，想学好transformer在CV领域的应用，并且最终能够用到自己的工作或项目当中，甚至提出新的网络结构，应该要全面地先对transformer的优缺点有充足的了解以及理解；并且全面了解其发展，以及每个时期的不同transformer为基础的网络结构的变化，改进方法，相互之间的联系。通过大量阅读相关的论文，以及代码，来建立起一个相对完整的知识体系。
原始VIT(Vision Transformer)总结(原理与代码) 论文地址：2010.11929 (arxiv.org) 参考代码地址：GitHub - google-research/vision_transformer Transformer最开始是NLP领域提出的一篇文章，transformer因为其长依赖捕捉，出色的全局特征提取，以及关键特征相关性表征的能力，在NLP领域(比如机器翻译等)取得了巨大的成功。而Transformer中最突出的一个结构就是多头自注意力(multi-head self-attention), 通过这种toke
模型量化入门介绍——从谷歌白皮书学模型量化(2) 白皮书中在介绍完量化方式后，做了一些训练实验，然后得出了一些结论，以及一些测速相关的。篇幅有限，这里就不多说，只想给大家交代重点内容，其他的大家可以自行阅读。最后来到量化建议和总结。1. 模型结构设计上，不要限制激活值的范围。(比如relu比relu6好)2. 权衡好量化位宽。参数多的模型，量化鲁棒性一般会相对好一些，可以考虑更低的量化位宽，然而需要权衡，比如用30层的卷积，使用4bit的量化位宽，和10层的卷积，采用8bit的量化位宽，这个需要权衡。
模型量化入门介绍——从谷歌白皮书学模型量化(1) 谷歌的量化白皮书()绝对是模型量化入门学习的必读资料，回顾自己在量化工作中踩的一些坑，十分后悔没有提前阅读这个资料，否则对于一个刚做模型量化的小白来说，很多不必要的坑可以规避，而且更能对量化这件事有一个整体的理解。下面一起大致回顾一下这个小编认为的入门必读的文章。（文章只是对一些小编认为比较重要的部分进行介绍，更希望读者能自行再读一下原文）
DDPM代码详解(一) 比如一个batch有四个样本，每个样本的步长在[1, 1000]中随机生成，比如可以是[50, 100, 94, 786]。5. 接下来要实现逆向生成过程：逆向生成过程也是按照前面原理部分的公式得到的，只是把数学公式用代码表达而已。由于默认总步数是1000步，但是为了适配不同的定义，可以自己指定总步数，因此这里就会对每一步的步长进行缩放。至此，原始DDPM的代码已经实现了，还差一个生成噪声的network的定义，之后将在下一次代码详解中介绍。首先我们从整体来思考一下，DDPM的代码实现，会包含哪些部分。
Diffusion原理详解（二：逆向过程原理） 当然如果对公式推理感兴趣的同学，可以阅读一下原文，公式推导的过程其实也是一个很好的思维锻炼的过程。以𝜽为模型参数，反向生成的原始图像的分布，与真实原始图像的分布的，距离， 不大于 (≤)， 各个阶段(𝑡 = 0,𝑡 = 1, 𝑇 − 1 ,𝑡 = 𝑇)以𝜽为模型参数, 反向生成的图像分布与该阶段真实图像分布的 距离 【KL-Divergence】和。公式(11)中红色的部分，这个式子里面出现的都是前向过程的参数，而根据文章最开始列出的前向过程推导公式，这个式子的分布我们是可以表达出来的。
Diffusion原理详解（一：前向过程原理） 在之前diffusion简介中，简单的描述了diffusion的基础原理，我们知道了diffusion有两个过程，这里将详细介绍一下这两个过程以及数学原理。在这个加噪的过程中，我们假设当前的图像只依赖前一个时刻的图像和新加的噪声(假设加噪的过程符合马尔科夫过程)。至此，通过完整的公式推导， 介绍了diffusion的前向过程的原理，之后将继续介绍diffusion的逆向过程原理。前向过程是一个逐步加噪的过程，每一步加入的都是随机的高斯噪声，这里我们把 t 时刻的图像记为。根据公式(8)可以一直推到用。
量化感知训练 —— LSQ（二：代码解析） 至此，我们实现了伪量化算子，伪量化算子中利用伪量化方法进行参数伪量化，之后又定义了伪量化的类来实现伪量化方法。之后需要做的是，就是把原模型中的各个算子，替换成这里定义好的对应的伪量化算子，这样我们就可以实现一个插入LSQ伪量化节点的模型了，然后利用这个模型进行正常的训练，就可以进行LSQ量化感知训练了。在这个伪量化算子中，其中还有伪量化方法需要作为输入传入进行初始化的，而具体的伪量化，以及需要学习的量化参数的更新方法，则通过伪量化方法实现。对于其他的算子，比如nn.Linear，则使用类似的定义实现。
关注
