随机梯度下降法相关

在大规模机器学习问题中，很多算法最终都归结为一个这样的优化问题：

$$\text{minimize}_{\omega \in R^p} \quad g(\omega) := \frac{1}{n}\sum_{i=1}^{n} f_i(\omega).$$
其中 $p$维向量 $\omega$是待优化的模型参数， $f_i(\omega) = L(\omega, x_i, y_i)$是第 $i$个样本 $(x_i, y_i)$对应的损失函数。例如，在线性回归中
$$f_i(\omega) = (y_i - \omega^T x_i)^2,$$
在逻辑回归中
$$f_i(\omega) = -y_i \omega^T x_i +\log(1+\exp(\omega^T x_i)) ,$$
$\lambda$为正则化系数。在SVM中
$$f_i(\omega) = L^{hinge}(1-y_i \omega^T x_i).$$
这一类问题可以用一般的梯度型优化算法来求解，如梯度下降法(Gradient Descent, GD).其迭代格式为

ω(k+1)=ω(k)−αk∇g(ω