神经网络-代价函数
反向传播算法(让代价函数最小)
理解反向传播
梯度检测
theta初始值不应该为0,流程是反向传播->梯度检测 ->梯度下降,来最小化代价函数
总结:
训练神经网络,首先选择一个架构--->训练神经网络
训练神经网络步骤:
- 训练神经网络,随机初始化权重
- 执行向前传播算法
- 计算代价函数
- 计算反向传播算法计算偏导数
- 梯度检测来检验算出的偏导数(来确保反向传播算法的正确性)
- 梯度下降法优化
神经网络-代价函数
反向传播算法(让代价函数最小)
理解反向传播
梯度检测
theta初始值不应该为0,流程是反向传播->梯度检测 ->梯度下降,来最小化代价函数
总结:
训练神经网络,首先选择一个架构--->训练神经网络
训练神经网络步骤:
- 训练神经网络,随机初始化权重
- 执行向前传播算法
- 计算代价函数
- 计算反向传播算法计算偏导数
- 梯度检测来检验算出的偏导数(来确保反向传播算法的正确性)
- 梯度下降法优化