卷积神经网络二之由来

（此文章是学习张老师的PPT做的笔记，感激张老师）

一、卷积神经网络的由来

1、实际需求的驱动

案例：构建一个衣服图片检索系统

使用前馈全连接网络？

权重矩阵的参数非常多

如果输入图像大小为 100 × 100 × 3（即图像高度为 100，宽度为 100， 3个颜色通道： RGB）。在全连接前馈网络中，第一个隐藏层的每个神经元到输入层都有 100 × 100 × 3 = 30, 000个相互独立的连接，每个连接都对应一个权重参数。

局部不变性特征

自然图像中的物体都具有局部不变性特征，比如尺度缩放、平移、旋转等操作不影响其语义信息。

而全连接前馈网络很难提取这些局部不变特征。

2、图像卷积，如边缘检测算子sobel

特征映射（图）feature map

3、问题

• 有许多不同的核可以产生多种feature map，比如锐化图像（强调细节），或者模糊图像（减少细节），并且每个feature map都可能对最终的决策有帮助。
• 问题：如何选择合适的核，或者多种核的组合？

4、特征工程？

• 对每种数据每种问题，有用的特征都是不同的：图像类任务的特征可能对时序类任务不起作用；即使两个任务都是图像类的，也很难找出相同的有效特征，因为视待识别的物体的不同，有用的特征也不同。这非常依赖经验。
• 是否可以利用卷积核自动找出某个任务中最适合的特征？
• 答案是yes!  这就是卷积神经网络能够做的事！

二、卷积神经网络

• 不同于刚才使用固定数字的卷积核，我们给这些核赋予参数，参数将通过大量数据上的训练来得到。这个过程称作表示学习（Representation learning）或者特征学习（feature learning）。
• 特征学习自动适配新的任务：我们只需在新数据上训练就可以自动找出新的卷积核。
• 这是卷积神经网络如此强大的原因——不需要繁重的特征工程了！
• 通常卷积神经网络并不学习单一的核，而是同时学习多层级的多个核。
• 比如一个32x16x16的核用到256×256的图像上去会产生32个241×241的feature map。所以自动地得到了32个有用的新特征。这些特征可以作为下个核的输入。
• 一旦学习到了多级特征，我们简单地将它们传给一个全连接层，由它完成分类。

三、卷积神经网络的由来----受生物学神经网络的启发

 1、动物和人的大脑如何识别图像

（1）对于视觉的编码，动物大脑皮层的神经元实际上是存在局部的感受野(receptive field)的，具体说来，它们是局部敏感且具有方向选择性。

（2）动物大脑皮层是分级、分层处理视觉信息的。在大脑的初级视觉皮层中存在两种细胞：简单细胞（simple cell）、复杂细胞（complex cell）和超复杂细胞（hyper-complex cell），这些不同类型细胞承担不同抽象层次的视觉感知功能。

• 卷积神经网络是受生物学上感受野（Receptive Field）的机制而提出的。
• 在视觉神经系统中，一个神经元的感受野是指视网膜上的特定区域，只有这个区域内的刺激才能够激活该神经元。
• 卷积神经网络中的感受野指的是每一层输出的特征图（feature map）上的像素点在输入图片上映射的区域大小，即特征图上的一个点对应输入图上的区域。