轻量化网络
b站up主同济子豪兄视频笔记
é«
这个作者很懒,什么都没留下…
展开
-
知识蒸馏(作者 HINTON ,JEFF DEAN)
1.soft targets用教师网络预测出的soft targets作为学生网络的训练时的标签。soft targets 的熵大包含更多的信息,而hard targets的熵小信息量小。蒸馏温度T:加了温度T参数的softmax函数,在T=1的时候就是softmax函数softmax函数将模型的得分压缩到0~1之间,并且求和为1,只要一个得分比另一个得分大一点,经过softmax函数之后都会有很大的差异,因此经过softmax函数之后的预测会very hard(很硬)。加入..原创 2022-04-01 14:57:15 · 525 阅读 · 0 评论 -
Shuffle - v2
FLOPs:注意s小写,是floating point operations的缩写(s表复数),意指浮点运算数,理解为计算量。可以用来衡量算法/模型的复杂度。MAC:内存占用量轻量化网络设计准则:G1)证明:G2)证明:G3)碎片化操作,多分支,多通路对并行加速不友好;G4)基本模块和下采样模块:1.基本模块中:channel spilt 输入的features 一部分走左边路,一部分走右边路;到最后通道数不变,长宽不变;channel ...原创 2022-04-01 18:16:40 · 175 阅读 · 0 评论 -
Shuffle - v1
分组卷积:一组d维的卷积核负责卷积输入中的d维,有几组就生成几组channel。这里一组可以是1,2,3………个卷积核。在右图中每一个group都有两个卷积核,每一个卷积核都是4个通道;ChannelShuffle:一个分为g组的feature maps,先reshape为g*n的矩阵,在转置,再flatten就能跨组之间通信。ShuffleNet基本模块add逐元素求和,concat在通道方向落在一起;...原创 2022-04-01 17:09:57 · 98 阅读 · 0 评论 -
MobileNet -v2
MobileNet-v1的局限:inveted升维:与经典的ResNet不同的是1.ResNet先1*1Conv降维,用标准卷积,再用1*1Conv升维,全部用的是ReLu激活2.BottleNet先用1*1Conv升维,用深度可分离卷积,再用1*1Conv降维,用的是ReLu6激活和Linear激活。LInear:ReL6:这是为了在移动端设备float16的低精度的时候,也能有很好的数值分辨率,如果对ReLU的激活范围不加限制,输出范围为0到正无穷,如果激活值非常大...原创 2022-04-01 15:52:15 · 163 阅读 · 0 评论 -
MobileNet-v1
分组卷积:一组d维的卷积核负责卷积输入中的d维,有几组就生成几组channel。这里一组可以是1,2,3………个卷积核。深度可分离卷积:深度可分离卷积就是分组卷积的特例,d等于1。原创 2022-04-01 15:30:38 · 248 阅读 · 0 评论