神经网络之CNN对数据变换的敏感性

同变性

T：变换，R：算子，x：变量
R(T(x))=T(R(x))

不变性(特征学习中我们想要的)

R(T(x))=R(x)

CNN中的等变性背后的本质

同变性： 体现在 feature map 部分；
eg：图像翻转后，同样的核（局部连接+权值共享） 作用满足同变性；
不变性： 体现在全连接层；
eg：猫图像翻转后，还是猫这一类；

没有“旋转不变性”，只能通过data argumentation这种方式（人为地对样本做 镜像、旋转、缩放等操作）让CNN自己去学习旋转不变性。
“尺度不变性”，由类似于SSD这种对不同尺寸（分辨率）的feature map作相同的处理得到的。CNN本身并不具备尺度不变性。