Channel Attention前言——一二阶统计量

统计量

简述

​ 一阶统计量和二阶统计量是统计学中常用的两类统计量。一阶统计量是指只考虑随机变量本身的统计量，而二阶统计量则是指考虑随机变量之间关系的统计量。

一阶统计量

一阶统计量是指只考虑随机变量本身的统计量，通常包括以下几种：

• 均值：随机变量取值的期望值。
  $$\mu =\frac{1}{n}\sum _{i=1}^n{x}_i$$

• 方差：随机变量取值与均值的偏差的平方的期望值。

  $${\sigma }^2=\frac{1}{n}\sum _{i=1}^n(x_i-\mu {)}^2$$

• 标准差：方差的平方根。
  $$\sigma =\sqrt{\frac{1}{n}\sum _{i=1}^n(x_i-\mu {)}^2}$$

• 中位数：随机变量取值从小到大排列后，居中的那个取值。

• 众数：随机变量取值出现频率最高的那个取值。

二阶统计量

二阶统计量是指考虑随机变量之间关系的统计量，通常包括以下几种：

• 协方差：两个随机变量取值之间的线性相关性。

  $$\begin{array}{rl}cov(X,Y)& =\sum _{x,y}(x-{\mu }_x)(y-{\mu }_y)P(X=x,Y=y)\\ & =\frac{1}{n}\sum _{x,y}(x-{\mu }_x)(y-{\mu }_y)\end{array}$$

• 相关系数：协方差与两个随机变量标准差的乘积的比值，反映了两个随机变量之间的线性相关程度。
  $${\rho }_{xy}=\frac{\text{Cov}(X,Y)}{\sigma (X)\cdot \sigma (Y)}$$

• 自协方差：随机变量取值与自身在不同时间点的取值之间的相关性。针对于时间序列
  $$\text{ACov}(X_t,X_s)=\frac{1}{n}\sum _{i=1}^{n-(t+s)}(X_{i+t}-\mu )(X_{i+s}-\mu )$$

• 自相关系数：自协方差与随机变量标准差的乘积的比值，反映了随机变量在不同时间点的相关程度。针对于时间序列
  $$\text{ACorr}(X_t,X_s)=\frac{\text{ACov}(X_t,X_s)}{\sqrt{\text{Var}(X_t)\cdot \text{Var}(X_s)}}$$

应用

​ 在SENet中采用全局平均池化利用一阶特征，从而产生了Channel Attention，但是其忽略了高于一阶统计量的信息。在Is Second-order Information Helpful for Large-scale Visual Recognition?和Bilinear CNN Models for Fine-grained Visual Recognition的结果显示，在深度卷积神经网络中，采用二阶统计量比一阶统计量更具有鉴别性的表示。

​ 在SAN中则通过对Channel Attention进行改进，利用二阶统计量协方差计算各个通道的重要性，提出Second-order Channel Attention (SOCA)。