目录
1)神经元的层次为3层(隐层只有一层),神经元的连接结构为全连接形式
1)神经元的层次为3层(隐层只有一层),神经元的连接结构为全连接形式
2)BP神经网络激活函数使用S型函数,RBF神经网络激活函数使用径向基函数
3)BP神经网络是全局逼近网络,RBF神经网络是局部逼近网络
一 BP神经网络(隐层层数不做限制)
注意:层数过多,会导致梯度消失或者梯度爆炸问题(使用链式法则影响)
1 前提
1)假定神经元的层次为3层(隐层只有一层),神经元的连接结构为全连接形式
2)激活函数使用S型函数
3)参数的学习算法,使用BP算法
2 训练阶段
1)数学符号解释
:表示总损失
:表示标签真实概率大小(k维向量)
:表示标签预测概率大小(k维向量)
:表示该神经元的全连接线性组合
:表示激活函数
2)损失函数(采用平方和损失,对单个样本的损失)
第一点:输出层损失
第二点:中间层损失(截距内化于特征中)