优化器和优化算法优化的是什么? 优化的是计算损失函数是,算的那个梯度。 反向传播是存储和计算梯度的方法,而不是训练模型的方法。 训练模型是使用优化算法。 优化算法需要计算梯度,所以会使用到反向传播。 概念: 一个比较详细的过程: 正向传播先正向计算出值,反向传播再利用这些值来利用链式法则求梯度。