以下文章摘录自:
《机器学习观止——核心原理与实践》
京东: https://item.jd.com/13166960.html
当当:http://product.dangdang.com/29218274.html
(由于博客系统问题,部分公式、图片和格式有可能存在显示问题,请参阅原书了解详情)
1.1 CNN的典型特性
除了前面小节所阐述的典型特征以外,我们还应该关心卷积神经网络的如下特征,以保证模型的鲁棒性:
l 位移不变性
l 尺寸不变性
l 旋转不变性
等等
位移不变性很好理解,它指的是无论物体在图像中的什么位置,卷积神经网络的识别结果都应该是一样的。
例如下面这两张输入图像中的cat:
图 ‑ 位移不变性
上图左侧中的猫在图像中的位置偏右,而右侧中的猫在图像中的位置偏左——如果物体在图像中所处的位置,对于模型的预测结果不会产生任何影响,那么我们就可以说它具备了位移不变性。
那么神经网络是否具备这一关键的特性呢?
我们先来分析一下一个普通的神经网络中的情况。如下图所示:
图 ‑ 一个全连接神经网络范例——SimpleNet1
在上图所描述的神经网络中,输入层有25个节点,拥有若干中间隐藏层,且各层之间都采用全连接的方式来组建,最终输出层的节点数量则是两个。
我们假设需要训练上述模型来识别一个十字的形状,如下图所示是它的training set中几个元素的直观展示: