针对于yolo添加注意力添加相关位置讨论

        之前本人由于项目需要，自顾自的想要在yolov5当中添加注意力机制。本人添加了空间注意力机制以及通道注意力机制，但是发现添加完的效果还不如不添加呢！整的我一种怀疑注意力机制的应用性能。（转念一想，自己这个深度学习cv垃圾怎么可能get得到大佬的想法,无奈还是从自身寻找原因。）

        就（跟此类之前的相关检测效果，怎么会如此拉垮！！）

        之前我在添加注意力机制的效果只是在置信度损失过程当中出现意外情况，置信度损失急剧上升的问题，自己只是从基础的数据集，超参数以及过拟合的相关基础情形下考虑，并有没对注意力机制的嵌入使用进行过多思考，最近从论坛和其他地方跟着众多大佬get到了其他的想法，就拿来用在自己相关代码当中。

        对于自监督学习的端到端模型来说，其实际训练预测过程可能会跟我们自己理论想法并不太一致，也就是说，我们想要通过嵌入多种注意力机制提升某方面的评价指标，但实际却差强人意，与自己的想法背道而驰。 对于计算机视觉融入注意力之后效果下降的问题对于深度学习cv来说是个很正常的现象，毕竟深度学习炼丹成就模型的过程属实啥情况都能遇到（从代码修改，到调试以至于训练过程当中的种种问题）。

        说回正题，注意力机制目前大家嵌入最多就是空间注意力机制和通道注意力机制，以及其他多种衍生模块。

        1.通道注意力机制添加位置讨论

        通道注意力机制就是为特征通道建立一层mask，以此表示特征通道的重要程度。神经网络加上注意力机制，精度反而下降，为什么会这样呢？ - 知乎  该大佬确定，通道注意力机制并不适合于添加到通道头部和尾部，也就是越靠近输入端或者越靠近head层，通道注意力机制可能出现模型预测性能下降的问题，大佬分析的也很到位。

        2.空间注意力机制

        空间注意力机制特别是non-local类型的self-attention,其主要用于快速获取大范围图像语义信息，由于self-attention的参数量和复杂度较高（跟运行过程当中的特征向量尺寸相关），融入到相关算法过程中若数据集以及目标物体分类单一，容易引起过拟合的现象！！！！！！个人感觉self-attention的添加跟通道注意力添加的位置类似，若将其融入到特征向量尺寸较大的特征向量当中，则可能出现过拟合的情况；另外若要应用于靠近head层的特征向量当中更要慎重，靠近head层的特征向量已经获取比较深层抽象的特征信息，若要使用末端添加self-attention，获取大范围的特征语义信息，会对相关目标检测识别准确率产生较大的波动。

        原因分析如下：靠近输出端，原本未添加non-local的网络，已经能够进行相关回归定位分类，只是损失函数和准确率数值大小有较小的差值；但是此时若是通过self-attention来获取大范围语义信息，建立特征点的语义信息关联度，会影响最终的预测结果。

        （空间注意力机制的融入添加是自己总结出的，恳请各位批评指正！欢迎大家来一起进行讨论）