梯度下降法分为全局梯度下降和随机梯度下降
全局梯度法训练的时候用的是所有的训练样本
g G D = 1 n ∑ i = 1 n Δ θ L ( x i , y i , θ t ) g_{GD} = { {1} \over {n}}\sum_{i=1}^{n}\Delta_{\theta}L(x^{i},y^{i},\theta_{t}) gGD=n1∑i=1nΔ
梯度下降法分为全局梯度下降和随机梯度下降
全局梯度法训练的时候用的是所有的训练样本
g G D = 1 n ∑ i = 1 n Δ θ L ( x i , y i , θ t ) g_{GD} = { {1} \over {n}}\sum_{i=1}^{n}\Delta_{\theta}L(x^{i},y^{i},\theta_{t}) gGD=n1∑i=1nΔ