反向传播神经网络

前向传播神经网络模型：

激活函数：

对输出进行编码：

加入正则化项的代价函数：

反向传播神经网络模型：

△的更新公式：

反向传播神经网络的梯度公式为：

加入正则化项后：

对比之前线性回归的梯度公式：

梯度检测

对Θ随机初始化

最后用优化算法算出θ

结果评测：

优化算法：