1.1 传统机器学习的局限性
模式识别或者机器学习需要人来设计特征提取器,将原始数据转换为合适的中间表示式或特征向量,学习子系统(通常为分类器)可以对输入模式进行检测或分类。
而深度学习不需要人工设计特征提取器,而是由机器自动学习获得,特别适用于于变化多端的自然数据,具有非常优良的泛化能力和鲁棒性。
1.2 从表示学习到深度学习
表示学习,直接以原始数据形式提供机器输入,自动发现用于检测和分类的表示。
深度学习是一种多层表示学习方法,用简单的非线性模块构建而成,这些模块将上一层表示(从原始数据开始)转化为更高层、更抽象的表示。
对于分类问题,高层表示能够强调重要的类别信息,同时抑制无关的背景信息。
一幅图像总是以像素值数组形式提供网络输入,第一层学习到的特征为边缘信息,即某个图像位置是否存在特定朝向的边缘;第二层检测边缘信息按特定方式排列组成的基本图案,而不关心边缘位置的变化;第三层将基本图案组合起来,对应典型物体的部件;后续层由部件组成的物体。
1.3 卷积神经网络CNN
CNN的四项基本原则:局部互联、共享权值、下采样、多个卷积层。
共享权值意味着更少的参数量,下采样保证了局部不变性,多特征图允许不同卷积核作为不同特征提取器,训练时使用反向传播算法。
卷积层的单元组织为特征图(feature map),每个单元通过一组成为滤波器组的