2020-6-01 ResNeXt 、SENet、ResNeSt

ResNeXt：

https://blog.csdn.net/hejin_some/article/details/80743818

作者在这篇论文中提出网络 ResNeXt，同时采用 VGG 堆叠的思想和 Inception 的 split-transform-merge 思想;本质上在ResNet bottle模块中采用组卷积实现 ResNeXt

 

SENet：

https://blog.csdn.net/guanxs/article/details/98544872

https://blog.csdn.net/weixin_42028608/article/details/104099856

channel进行了squeeze，通过ave pooling 将feature map（[W, H, C]）变为[1,1,C]。【顺着空间维度进行压缩，将每个二维的特征通道[W,H]变成一个实数，该实数某种程度上具有该通道全局的特征】
b. Excitation：对得到的squeeze后的feature map，使用sigmoid函数进行excitation，得到每个通道的权重
c. Reweight：根据b得到的权重与原feature map加权
 

注意力机制：

https://www.zhihu.com/topic/20682987/intro

https://blog.csdn.net/hpulfc/article/details/80448570

严格来说，注意力机制更像是一种方法论。没有严格的数学定义，而是根据具体任务目标，对关注的方向和加权模型进行调整。

简单的理解就是，在神经网络的隐藏层，增加注意力机制的加权。

使不符合注意力模型的内容弱化或者遗忘。例如，识别鸟类的品种问题。对于鸟品种的精细分类，对结果影响最大的可能是鸟类的头部，通过注意力机制将头部的特征强化，而忽略其他部分（羽毛、爪子），以实现区分鸟类的具体品种。

 

ResNeSt：

https://www.cnblogs.com/xiximayou/p/12728644.html

（1）首先是借鉴了ResNeXt网络的思想，将输入分为K个，每一个记为Cardinal1-k ，然后又将每个Cardinal拆分成R个，每一个记为Split1-r，所以总共有G=KR个组。

（2）这里借鉴了squeeze-and-excitation network(SENet) 中的思想，也就是基于通道的注意力机制，对通道赋予不同的权重以建模通道的重要程度。

 

总体：

https://mp.weixin.qq.com/s?__biz=MzUxNjcxMjQxNg==&mid=2247498164&idx=2&sn=9aa9062b0da9af13677f8351a329fe59&chksm=f9a18b3bced6022d4660b4000ef90a416425908edd70498905a414ae4342c9bec6e51f30e009&scene=21#wechat_redirect