[深度学习基础] 3. 前馈神经网络

多层前馈神经网络 (multilayer feedforward nueral network), 也称为多层感知器 (multilayer perceptrons, MLP), 它利用上一章讨论的线性分类器处理非线性问题. 本章讨论的神经网络就是这种多层前馈神经网络. 在本文, 将讨论为什么要使用神经网络及深度学习, 神经网络的基本架构和学习方法. 本章也是下文深度学习的铺垫.

1 特征/表示学习

1.1 线性模型

上文讨论的 softmax 分类器代表了一系列的线性模型. 它们的训练是凸优化问题, 最终有理论保证能收敛到全局最优, 和参数的初始位置无关. 但是线性分类器只能用多个超平面把输入空间划分为几个简单的区域. 但是对很多问题, 直接把图像原始像素拿去做训练, 线性模型不能将它们分开, 即原始像素不是线性可分的.

1.2 特征工程

针对线性模型要求数据线性可分, 特征工程 (feature engineering) 设计一种最适合当前任务的数据的表示 (representation) φ(x ) 作为输入的特征而不是直接使用原始像素 x , 使得 φ(x) 线性可分. 比如下图, 左图是原始的数据 x , 包括两个类 (红色和蓝色), 每个类的数据各自分布在一个正弦曲线上.

这两类数据不是线性可分的, 线性模型无法将这两类分开. 如果设法设计一种表示 φ(x), 使得数据的分布变成右图那样, 数据将线性可分, 线性模型将能够把这两类分开. SIFT 和 HOG 特征都是特征工程的两个例子.

SIFT 让图像和不同尺度下的高斯滤波器进行卷积, 从得到的图像的差异 (高斯差, DoG) 中找到兴趣点 (一般是 DoG 之后的极大, 极小值点), 以关键点相邻梯度方向分布作为指定方向参数, 使关键点描述拥有旋转不变性. SIFT 寻找可以用来识别目标的局部图像特征, 因此可以用来解决图像中目标有遮挡的情况, 见下图.

HOG 将图像分成小的连通区域, 计算各区域内各像素点的梯度或边缘的方向直方图, 之后把这些直方图组合起来构成图像特征, 见下图. 和SIFT 相似, 两者都利用了图像的局部信息来做识别.

φ( x ) 的设计需要领域的先验知识, 而且和需要解决的任务密切相关. 模型的的性能依赖于数据的表示, 很多情况下, 我们很难设计合适的能应对多种图像识别问题挑战的数据特征, 因此需要大量的工作不断设计更好的特征.

1.3 核方法
在核方法中使用固定的 φ 将 x 映射到一个高维空间, 同时使优化问题仍然保持是凸优化问题. 映射 φ( x ) 使模型的 VC 维 (VC dimension) 提高, 会有潜在的过拟合 (overfitting) 风险. 对 φ(核) 的选取是一种先验知识, 称为核工程 (kernel engineering). 高斯核 (Gaussian kernel)k( x, x ′ ) = exp(−γ∥x  - x ′ ∥^2 ) 有十分宽的先验分布, 并且很平滑, 是一种广泛使用的核.

1.4 表示学习
机器学习算法是从数据中学习 (learning from data). 我们能不能利用机器学习算法不仅学习从数据的表示到输出的映射, 也学习到合适的数据的表示呢? 如果学到的表示可以不受光照, 视角等的影响, 反应了数据的本质特征, 这样学到的特征会比人为设计的特征性能更好, 而且这会使 AI 系统有更好的普适性. 从数据中学到合适表示的过程称为表示学习(representation learning). 自编码器 (autoencoder) 就是表示学习的一个例子, 它将输入转化为一个不同的表示.

1.5 深度学习
直接从输入学习到如何提取合适的, 能应对多种图像识别问题挑战的数据的表示 φ 仍然是很难的. 深度学习 (deep learning) 将数据的表示分级, 高级的表示建立在低级的表示上, 机器将从数据简单的表示中学习复杂的表示. 

比如在下图中, 直接从原始图像像素中学习到合适的表示是很难的. 深度学习把这样一个复杂的问题分成一系列嵌套的简单的表示学习问题

<