ResNeXt:
https://blog.csdn.net/hejin_some/article/details/80743818
作者在这篇论文中提出网络 ResNeXt,同时采用 VGG 堆叠的思想和 Inception 的 split-transform-merge 思想;本质上在ResNet bottle模块中采用组卷积实现 ResNeXt
SENet:
https://blog.csdn.net/guanxs/article/details/98544872
https://blog.csdn.net/weixin_42028608/article/details/104099856
channel进行了squeeze,通过ave pooling 将feature map([W, H, C])变为[1,1,C]。【顺着空间维度进行压缩,将每个二维的特征通道[W,H]变成一个实数,该实数某种程度上具有该通道全局的特征】
b. Excitation:对得到的squeeze后的feature map,使用sigmoid函数进行excitation,得到每个通道的权重
c. Reweight:根据b得到的权重与原feature map加权
注意力机制:
https://www.zhihu.com/topic/20682987/intro
https://blog.csdn.net/hpulfc/article/details/80448570
严格来说,注意力机制更像是一种方法论。没有严格的数学定义,而是根据具体任务目标,对关注的方向和加权模型进行调整。
简单的理解就是,在神经网络的隐藏层,增加注意力机制的加权。
使不符合注意力模型的内容弱化或者遗忘。例如,识别鸟类的品种问题。对于鸟品种的精细分类,对结果影响最大的可能是鸟类的头部,通过注意力机制将头部的特征强化,而忽略其他部分(羽毛、爪子),以实现区分鸟类的具体品种。
ResNeSt:
https://www.cnblogs.com/xiximayou/p/12728644.html
(1)首先是借鉴了ResNeXt网络的思想,将输入分为K个,每一个记为Cardinal1-k ,然后又将每个Cardinal拆分成R个,每一个记为Split1-r,所以总共有G=KR个组。
(2)这里借鉴了squeeze-and-excitation network(SENet) 中的思想,也就是基于通道的注意力机制,对通道赋予不同的权重以建模通道的重要程度。
总体: