CIFAR10 VS Deep CNN
深度CNN的作用
深度CNN的结构:
Filter => batch_normalization => relu => 循环 Filter => batch_normalization => relu => …
Filter一般是33channels的卷积核在前一层上面进行卷积操作。所以Filter的输出,在channel方向具有特征意义,即将分布在W和H方向上面的特征,逐渐转移到Channel方向,最终由batch_normal和relu分别进行归一化和非线性变换,从而使得网络具有拟合能力。
最终的reduce_mean方向
这篇博文https://blog.csdn.net/gzroy/article/details/82386540#commentsedit中最终将reduce_mean在W和H方向进行求和,令人费解。
与博主进行交流之后,才恍然大悟,原来特征已经被卷积核转移到channel方向,所以channel方向上面不同的位置具有大量的特征信息,不能在这个方向上面做均值。