1. 深度学习过往

1.1 传统机器学习的局限性

　　模式识别或者机器学习需要人来设计特征提取器，将原始数据转换为合适的中间表示式或特征向量，学习子系统（通常为分类器）可以对输入模式进行检测或分类。

　　而深度学习不需要人工设计特征提取器，而是由机器自动学习获得，特别适用于于变化多端的自然数据，具有非常优良的泛化能力和鲁棒性。

1.2 从表示学习到深度学习

　　表示学习，直接以原始数据形式提供机器输入，自动发现用于检测和分类的表示。

　　深度学习是一种多层表示学习方法，用简单的非线性模块构建而成，这些模块将上一层表示（从原始数据开始）转化为更高层、更抽象的表示。

　　对于分类问题，高层表示能够强调重要的类别信息，同时抑制无关的背景信息。
　　一幅图像总是以像素值数组形式提供网络输入，第一层学习到的特征为边缘信息，即某个图像位置是否存在特定朝向的边缘；第二层检测边缘信息按特定方式排列组成的基本图案，而不关心边缘位置的变化；第三层将基本图案组合起来，对应典型物体的部件；后续层由部件组成的物体。

1.3 卷积神经网络CNN

　　CNN的四项基本原则：局部互联、共享权值、下采样、多个卷积层。
　　共享权值意味着更少的参数量，下采样保证了局部不变性，多特征图允许不同卷积核作为不同特征提取器，训练时使用反向传播算法。

　　卷积层的单元组织为特征图（feature map），每个单元通过一组成为滤波器组的