1、误差的计算
三层的BP神经网络为例:
输入层 隐层 :三个节点
w:权重,b:偏执,sita是激活函数
一般最后一层的激活函数用的是Softmax
softmax的总和为1
二分类问题就是可能属于别的分类,sigmod
2、误差的反向传播
3、权重的更新
优化器:使用分批次样本进行求解
SGD优化器易受样本的噪声影响,可能陷入局部最优解
Adam优化器(自适应学习率)
1、误差的计算
三层的BP神经网络为例:
输入层 隐层 :三个节点
w:权重,b:偏执,sita是激活函数
一般最后一层的激活函数用的是Softmax
softmax的总和为1
二分类问题就是可能属于别的分类,sigmod
2、误差的反向传播
3、权重的更新
优化器:使用分批次样本进行求解
SGD优化器易受样本的噪声影响,可能陷入局部最优解
Adam优化器(自适应学习率)