说出来你们可能不信,没有平移不变性,没有尺度不变性,也没有旋转不变性,我目前的测试和why do deep convolutional networks generalize so poor to small transformation论文基本一致,fashion mnist的数据都是居中的,我给训练集验证集做padding 2,随机裁剪28*28的数据增强,得到0.93的测试准确度,此时所有的测试图片都是居中的,我水平垂直随机平移0 1 2像素,由于训练集见过2个像素偏移的增强图片,所以测试准确率依然在0.92,然而,当随机偏移3像素时,也就是测试集分布和训练集验证集分布差一个像素时,正确率到了0.89,偏移4像素,也就是分布相差二像素,正确率0.75,偏移5像素,也就是实际相差3像素,正确率低于0.60,谁能解释一下?我知道所谓的原则是验证集和测试集分布要一致,但是现在显然说明,cnn本身不具有平移不变性特性,论文中认为是maxpool和stride大于1的操作引起的,我是支持的,以后别再提maxpool引入了平移不变性,只能说引入微小形变的鲁棒性而已。
作者:吉光片羽
链接:https://www.zhihu.com/question/30817011/answer/667647225
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。