周志华机器学习笔记-C5

神经网络（ANN）

机器学习典型算法，同时面向回归和分类（视为类别概率分布回归学习）。

一、神经元模型

1、M-P神经元模型：神经网络最基本的组成，接受输入给出输出，输入由前一层神经元输出经由权重相加而得，输出为此输入减去阈值通过激活函数给出。激活函数理想情况依然是0-1阶跃，这里常取为sigma函数。

2、神经网络：神经元按一定层级连接的结构，从数学模型上理解是若干个函数的嵌套。

二、感知机与多层神经网络

此节介绍最简单神经网络及常见前馈神经网络基本算法。

1、感知机：两层神经元组成的神经网络，可通过调整权重与阈值实现与或非逻辑，但学习能力非常有限，只能处理线性可分问题，像异或这种非线性可分问题就只能多加层数实现。

2、多层前馈神经网络：其层数常刨去输入层（只是输入、没有执行函数功能），中间层称为隐层，每层神经元仅与下一层神经元相连，不存在跨层或层内连接。其学习内容是每个连接权重以及神经元阈值。

3、BP学习算法：采用BP算法称BP神经网络，核心思想为梯度下降。其损失函数定义为均方误差，均方误差对每个连接权、阈值的偏导乘以学习率即连接权、阈值的预改变值。相当于每一步迭代优化，都在向着梯度最小化的方向优化。神经层数、神经元个数选定没有严格理论，常采用“试错法”。也会遇到过拟合问题，常在损失函数引入正则化项（体现网络复杂度）优化。

4、局部与全局最优：这涉及了BP算法梯度下降究竟得到的是局部还是全局最优，一般无法直接判断，但可以用一下方法尽可能经验地避免：随机参数初始化，取最终误差最小者；模拟退火算法；随机梯度下降。

三、常见神经网络

1、RBF径向基函数网络：即采用高斯径向基函数作为激活函数，实施步骤基本和前面一致。

2、竞争型学习神经网络：ART、SOM，旨在让神经元之间产生竞争，赢者通吃，主导该层的输入输出。

3、级联相关网络：一般神经网络结构事先固定，结构自适应网络将结构也视为优化目标，级联相关网络即为典型代表。

4、递归神经网络：允许出现环状结构（层内连接）的网络。

5、Boltzmann机：仅有输入输出的显层和数据交互的隐层，且状态仅有01，但所有神经元允许交互。基本思想是定义能量，学习目标为调整权重使得能量极小。常用CD对比散度算法训练。受限Boltzmann机即只允许显层与隐层的交互。

四、深度学习

此节即深层神经网络训练方法概论。其存在的问题是BP算法可能会发散而不能收敛，度无法直接使用。

1、无监督逐层训练：即一层一层训练，预训练完后再整体微调。

2、权共享：CNN中用的多。