梯度下降与反向传播的关系

1.梯度下降是一种优化方法，可以看做一种理论。例如想从山顶走到山脚，最快的方式就是沿着最陡的方向走。

2.卷积神经网络中，由于网络的特性，需要将每个真实值与预测值的误差传递到前面的网络的神经元中，就需要使用反向传播的方式，可以说反向传播是梯度下降在卷积神经网络的实现，因为梯度下降不仅仅应用在卷积神经网络中。