组合在一起

本节我们将神经网络的知识总结，串起来讲，是我们有一个整体的影响，搞明白神经网络的过程：

首先训练神经网络架构的选取：

训练神经网络的实现过程：

1）随机初始化权重，是它们都接近0

2）实现前向传播算法，使得每一个输入x都得出结果y

3）计算出代价函数J(θ)

4）实现反向传播算法计算出偏导数

5）使用梯度检测来比较已经计算出来的偏导数项，把用反向传播算法得到的偏导数值与用数值数值方法得到的估计值进行比较，因此，通过进行梯度检测来确保两种方法得到基本接近的两个值。最后要停用梯度检测。

6）使用一个最优化算法，比如说梯度下降算法，或者更加高级的优化算法，与反向传播算法结合计算出这些偏导数项的值，最小化代价函数J。