聊北辰同学的博客

【深度学习】轻量级神经网络设计思路0. 前言随着深度学习技术在各个领域获得了表现出极大的潜力，但大部分神经网络模型的计算复杂度都使其无法在计算资源受限的情况下（如移动端设备）得到很好的应用，于是，神经网络的轻量化备受关注。那么如何将神经网络模型设计得小型化、轻量化呢？部分研究成果为我们打开了思路，也一定程度上促成了AI技术的推广和落地。1. 轻量级神经网络设计轻量级神经网络设计的主要思路：有限的计算复杂度下实现尽可能高的模型表达能力。模型表达能力一定程度上同通道数相关，换言之，就是要不过分减

卷积层 (2×Ci×K2−1)×H×W×Co\left(2 \times C_{i} \times K^{2}-1\right) \times H \times W \times C_{o}(2×Ci​×K2−1)×H×W×Co​式中，Ci,CoC_i,C_oCi​,Co​ 输入输出通道数，KKK 卷积核大小，H,WH,WH,W 输出 Feature Map 的大小。(2×Ci×K2−1)=(Ci×K2)+(Ci×K2−1)\left(2 \times C_{i} \times K^{2}-1\righ

深度学习上采样主要有三种：插值：最邻近插值、双线性插值、三两次插值等反卷积（转置卷积 ）：其实就是在每个元素之间先填充0再卷积反卷积也称为转置卷积，如果用矩阵乘法实现卷积操作，将卷积核平铺为矩阵，则转置卷积在正向计算时左乘这个矩阵的转置WT，在反向传播时左乘W，与卷积操作刚好相反，需要注意的是，反卷积不是卷积的逆运算。一般的卷积运算可以看成是一个其中非零元素为权重的稀疏矩阵C与输入的图像进行矩阵相乘，反向传播时的运算实质为C的转置与loss对输出y的导数矩阵的矩阵相乘。逆卷积的运算过程