数据科学中常用的优化技术

梯度法

利用负梯度方向作为搜索方向，需要考虑的问题是步长的选取。步长的选取可以考虑精确搜索、非精确搜索、固定步长、逐渐小步长。还需要提到Barzilai-Borwein法，方向：最速下降方向，步长：与上一个精确步配合。

交替方向法

很多变量时，问题较为复杂。可以考虑先在部分变量上进行优化，再在其余变量上进行优化。这就要求这些变量具有某种可分离性。

增广拉格朗日函数法

这是一个很常见的方法，例如压缩感知中的问题：$\min :||x|{|}_1+\mu ||Ax-b|{|}_2$。然后再考虑用交替方向法求解。

子空间技术

随机技术

随机技术由原来的某种“固定顺序”变为“随机顺序”。这里可以考虑随机梯度法（SGD）和随机方差缩减梯度法（SVRG）。SGD：本来是对$n$个函数的平均值求极小，需要求$n$个梯度。现在随机挑选一个函数的梯度方向，作为整体的梯度方向。做个比喻：在200个学生中随机挑选1个学生的身高代替大家的平均身高。SVRG：为方便理解，同样做个比喻：已知去年的身高和平均身高。今年随机挑选1个，计算它与去年的平均身高之差，然后将去年大家的身高加上这个差值，便得到今年大家的身高。

并行技术