梯度下降

梯度下降算法

机器学习中常见的最小化问题是：
$min:f(w)={\sum }_{i=1}^N{f}_i(w)$

例如：可认为每一项都是一个数据点的残差

1.经典梯度下降

一般的考虑就是，随机选取$w$，之后
计算梯度$\nabla f$,之后对于$w$，用下面办法更新
$$w_t=w_{t-1}-\alpha \nabla f(w_{t-1})$$
收敛性好，但是，容易出现陷入局部极值，并且单步计算量大

2.随机梯度下降

N 是一个随机变量，服从均匀分布 { 1 , 2 , . . . , n } \{1,2,...,n\} {1,2,...,n},按下面办法更新 $w_t$
$$w_t=w_{t-1}-\alpha \nabla f_N(w_{t-1})$$
即使对于凸函数，这个东西也不一定收敛，实际上$f_N(w_{t-1})$作为一个估计量，确实是无偏的，但是未必是一致的。

由此，公式应当调整为
$$w_t=w_{t-1}-{\alpha }_{t-1}\nabla f_N(w_{t-1}),{\alpha }_t={\alpha }_0/(1+\lambda t)$$

收敛速度明显变慢

3.半随机梯度下降

算法流程：

for k in {1,...,}
	g = grad(f)(w_k)
	y = w_k
	T = 随机获得的t P(T = t) = (1 - lamda * alpha) ** -t
	for i in {1,...,t}
		n is a random int from {1,...,N}
		y = y - a(g - grad(f_n)(y) + grad(f_n)(w_k));
	w_k+1 = y

这种下降方式，实际上计算量还超过了梯度下降，但是其中加入了一些随机的因素，或许可以防止陷入极小值。
收敛速度也是基本和梯度下降差不多。

4. 平均梯度下降

这种下降带有某种记忆性

g_list = [0,...0];
for k in {1,...,}
	N = random.randint(1, n);
	w_k -= alpha/N * (sum([g_list[i] for i in range(0, n) if i != N]) + 
	grad(f_N)(w_k))
	g_N = grad(f_N)(w_k)

算法的弊病在于空间复杂度O(N).