对神经网络的思考与总结

1.为什么通过使用过滤器对图像进行卷积操作能够达到识别特征的功能？

答：在神经网络中，数值的高低代表了激活程度的高低，而在卷积操作中，卷积核的数值分布决定了图像像素应该具有怎样的数值分布才能得到高的卷积结果，因此，不同的卷积核都代表着对不同的特征的识别。
有个有意思的地方是，以前的传统图像识别是人工选择卷积核来对图片进行特征提取，而现在是神经网络通过训练来决定卷积核。
并且随着网络的深入，卷积层的输出的图片规格会越来越小，这样卷积核所覆盖的比例就越来越大，因此更有利于识别复杂的特征。并且在卷积的过程中，特征的相对位置也会被保存下来。
有个很好的经验是：在每个池化层过后使过滤器数目增加一倍。

2.偏置项的作用是什么？

为了使每个数据项都有独特的数值特征。

------------------------------------------------------------------------------------------------------------

---

1.过滤器的规格应与上一层的数据规格相同，所谓规格相同，意思是，上一层有16个通道，shape为16*30*30，那么如果下一层的卷积层的过滤器的规格为20*3*3（假设卷积核长宽均为3），那么输出则为20*28*28。点积运算时要把所有的通道的点乘过后的数据加起来作为结果，这一点很关键，意思是每一个过滤器都把前一层的所有的通道结合成一张图，如30×30×3通过5×5×5得到28×28*5。当使用1×1作为过滤器时，相当于对纵深进行点积。