《机器学习》（周志华）笔记-U5 神经网络

第五章 神经网络

5.1 神经元模型

"神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经
系统对真实世界物体所作出的交互反应 " [Kohonen, 1 988] .

神经网络neural network 最基本的成分是神经元neuron模型，即上述定义的简单单元。

5.2 感知机与多层网络

感知机（Perceptron）由两层神经元组成。感知机能容易地实现逻辑与、或、非运算 . 。

• 输入层接收外界输入信号后传递给输出层；
• 输出层是M-P神经元，亦称“阈值逻辑单元”（threshold loogin unit）,只有输出层神经元进行激活函数处理，只拥有一层功能神经元（functional neuron）。

**线性可分：**存在一个线性超平面将它们分开，则感知机的学习过程一定会收敛（converge）而求得适当的权向量；否则感知机学习过程将发生振荡（fluctuation），权向量难以稳定下来，不能求得合适解，例如：异或问题。
**非线性可分：解决方法：多层功能神经元。输入层和输出层之间的一层神经元，被称为隐层或隐含层（hidden layer）**隐含层和输出层神经元都是拥有激活函数的功能神经元。

**多层前馈神经网络：**每层神经元与下一层神经元全互连，神经元之间不存在同层连接，也不存在跨层连接。
只需包含隐层，就可称为多层网络。

神经网络的学习过程，就是根据训练数据来调整神经元之间的“连接权（connection weight）”以及每个功能神经元的阈值。

误差逆传播算法

误差逆传播（errorBackPropagation,简称BP）算法 迄今最成功的的神经网络学习算法。不仅可用于多层前馈神经网

由于其强大的表示能力，BP神经网络经常遭遇过拟合，其训练误差持续降低，而测试误差却可能上升。
有两种策略常用来缓解BP网络的过拟合：

• “早停（early stopping）” ：将数据分为训练集和验证集，训练集用于计算梯度，更新连接权和阈值，验证集用于估计误差，若训练集误差持续降低而验证集误差升高，则停止训练，同时返回具有最小验证集误差的连接权和阈值。
• “正则化（regularization）”：在误差目标函数中增加一个用于描述网络复杂度的部分。

全局最小与局部最小

深度学习

典型的深度学习模型就是很深层的神经网络。
通过多层处理，主键将初始的“低层”特征表示转化为“高层”特征表示后，用“简单模型”即可完成复杂的分类等学习任务。由此可将深度学习理解为进行特征学习或表示学习。

特征工程：机器学习用于现实任务时，描述样本的特征通常需由人类专家来设计。
特征学习则通过机器学习技术来产生好特征，这使机器学习向“全自动数据分析”又前进了一步。

神经网络提高容量：增加隐层的数目。但是，多隐层神经网络难以直接用经典算法（例如标准BP算法进行训练），因为误差在多隐层内逆传播时，往往会“发散（diverge）”而不能收敛到稳定状态。

无监督逐层训练多隐层神经网络训练的有效手段。基本思想：每次训练一层隐结点，训练时将上一层隐结点的输出作为输入，而本层隐结点的输出作为下一层隐结点的输入，这称为预训练；在预训练完成之后，再对整个网络进行微调。

权共享 让一组神经元使用相同的连接权。