10、ECA-CBAM：一种可行的轻量级卷积注意力机制

0、前言：

       自己之前搞过CBAM机制，模块里面并没有做多少的改动，只是把CBAM稀里糊涂的加在了孪生神经模型里面，而且当时还真的把CBAM加在了CNN正确的位置，当时结果好我也说不清。现在比之前有了长足的长进，对CBAM做一个更大的改进，把ECA结构加在CBAM中，做一个全新的创新注意力机制：ECA-CBAM(简称：EC注意力块)，然后根据注意力添加在CNN中的正确位置加在一个CNN中，形成EC-CNN(ECCNN)模型。对于这种的改进思路，目前没人做过，现在自己也早把改进的代码写完。具体思路如下：

1、Attention机制在CNN中的应⽤：

        近年来，注意⼒机制被证实在提⾼CNN上具有很⾼的前景，Attention结构的复杂度和参数量对于 CNN来说更⼩更少，因此带来的计算开销也较⼩。添加了注意⼒机制的CNN模型，不仅可以通过⾃⼰ 原有的卷积操作作为重要的提取⽬标特征的⼿段，⽽且可以将这些提取好的特征送给Attention机制进⾏校正，校正好的特征保留了原有的价值特征，剔除了没有价值的特征，这让模型能够忽略背景特征，更加关注需要抓取的特征信息（相当于给深度学习模型加了⼀双眼睛，使得模型更加关注重要的 特征）。Attention通常在模型中通过Channel和Sptial两个维度对input data进⾏关联。

2、Attention怎么⽤？(在模型中的穿插位置)

A：在卷积操作前