【人工智能I】人工神经网络

神经元与神经网络

使用步骤

1、建立模型：选择什么样的网络结构 ； 选择多少层数，每层选择多少神经元
2、损失函数 ：选择常用损失函数，平方误差，交叉熵….
3、参数学习 ：梯度下降； 反向传播算法

神经元与神经网络

人工神经网络（artificial nerual networks)：是机器学习中的一 个重要模型，简称为神经网络（NN）。
深度学习（deep learning）：是神经网络发展起来的，深度最初是指神经网络模型中隐层层数超过1层，深度理解为深度网络结果， 能模仿人脑进行数据处理和决策模式方面的工作

神经网络具有下面几个特点：
1、 能充分逼近复杂的非线性关系
2、可以并行分布处理
3、具有高度的鲁棒性和容错能力
4、具有学习能力和自组织能力。

麦克洛奇和皮兹的M-P模型

激活函数

性质

1、非线性：线性激活层对于深层神经网络没有作用；仍为线性变换；
2、连续可微：梯度下降法要求满足连续可微；
3、范围最好不饱和：当有饱和区间段时，若系统优化进入到该段，梯度近似 为0，网络的学习会停止；
4、单调性：当激活函数单调时，单层神经网络的误差函数为凸，易优化；
5、原点处近似线性：当权值初始化为接近0的随机值时，网络可以学习较快

阶跃函数

最早M-P模型采用的激活函数，但光滑性不好

对称阶跃函数

光滑性不好

sigmoid函数（S型函数）

可微性和单调性，饱和性

梯度消失

Tanh函数（双曲正切S型函数）

可微性和单调性，饱和性

ReLU函数（线性整流单元rectified linear units）

克服饱和性，缓解梯度消失问题

Softplus函数

接近脑神经元的激活模型

神经网络的结构

前馈型神经网络（ 前向型）BP-非动力学

1、每个神经元只与前一层的神经元相连；
2、当前层只接收前一层的输出；
3、 当前层自身的输出只能输出给下一层；
4、各层之间没有反馈；
注意：前馈神经网络中偏置单元不能有输入

反馈型（直接或间接）-非线性动力学系统

每个神经元同时将自身输出作为输入信号反馈给其他神经元，网络的 连接图中具有回路，需要工作一段时间后才能稳定。

神经网络的工作方式

同步（并行）方式：任一时刻神经网络中所有神经元同时调整状态。
异步（串行）方式：任一时刻只有一个神经元调整状态，而其它神经元的状态保持不变

网络模型参数学习

损失函数

常用损失函数：平方损失函数（回归问题）、交叉熵损失函数
好的参数使得所有训练数据的损失越小越好

梯度下降法

反向传播

BP神经网络

采用BP算法的多层前馈神经网络

BP神经网络的特点总结。 ：
（1） 多层前向网络（输入层、隐层、输出层）
（2）连接权值通过Delta学习算法进行修正
（3）神经元传输函数采用S型函数
（4）学习算法采用正向传播和反向传播
（5）层与层之间的连接是单向的，信息的传播是双向的
（6）优点：较好的逼近特性、较强的泛化能力、较好的容错性
（7）缺点：收敛速度慢、局部极值、难以确定隐层的层数和结点数。