深度学习--神经网络基础算法--BP/RBF算法理论

目录

一 BP神经网络（隐层层数不做限制）

1 前提

1）神经元的层次为3层（隐层只有一层），神经元的连接结构为全连接形式

2）激活函数使用S型函数

3）权重的学习算法，使用BP算法

2 训练阶段

1）数学符号解释

2）损失函数（采用平方和损失，对单个样本的损失）

3）计算FP

4）计算BP

5）权重更新（使用梯度下降算法）

二 RBF神经网络（径向基神经网络，隐层仅有一层）

1 前提

1）神经元的层次为3层（隐层只有一层），神经元的连接结构为全连接形式

2）激活函数使用RBF函数（径向基函数）

3）权重的学习算法，使用BP算法

2 训练阶段

1）第一阶段：无监督学习

2）第二阶段：有监督学习

三 BP神经网络与RBF神经网络联系与区别

1 联系

1）都是前馈神经网络，神经元采用全连接形式

2）参数更新都是采用梯度下降方式

2 区别

1）BP神经网络层次不做限制，RBF神经网络隐层仅有一层

2）BP神经网络激活函数使用S型函数，RBF神经网络激活函数使用径向基函数

3）BP神经网络是全局逼近网络，RBF神经网络是局部逼近网络

---

一 BP神经网络（隐层层数不做限制）

注意：层数过多，会导致梯度消失或者梯度爆炸问题（使用链式法则影响）

1 前提

1）假定神经元的层次为3层（隐层只有一层），神经元的连接结构为全连接形式

2）激活函数使用S型函数

3）参数的学习算法，使用BP算法

2 训练阶段

1）数学符号解释

• ：表示总损失
• ：表示标签真实概率大小（k维向量）
• ：表示标签预测概率大小（k维向量）
• ：表示该神经元的全连接线性组合
• ：表示激活函数

2）损失函数（采用平方和损失，对单个样本的损失）

第一点：输出层损失

第二点：中间层损失（截距内化于特征中）