Spark成长之路(12)-Gradient Descent

机器学习理论之一
梯度下降

基础概念

要想了解梯度下降，先来认识下面三个基础概念。

• 导数
• 偏导数
• 梯度

导数

导数

大学数学我们都学过，简单复习了解下。

比如如下一元二次函数

$$y=f(x)=ax^2+bx+c$$

它的导函数为

$$f'(x)=ax+b$$

导函数是为了求解在某点的导数的，导数的意义表示该点的斜率，也表示增长的速度。

偏导数

偏导数

在一元函数中，我们计算导数很自然的就是计算以x为参数的导数，那么多元函数中如何计算导数？这就是偏导数的用处了。比如下面二元二次函数：

$$z=f(x,y)=ax^2+by^2+c$$

求x的导数:

$$∂f/∂x$$

对y求导就是

$$∂f/∂y$$

在求某个参数时候，其他参数被当成了常数。

梯度

梯度就是把偏导数转换为向量，比如上面二元二次函数的梯度就是

$$(∂f/∂x,∂f/∂y)^T$$

求导这个值以后，表示我们的函数在(x,y)点时，沿着

$$(∂f/∂x,∂f/∂y)^T$$
方向更容易找到最大值，沿着
$$-(∂f/∂x,∂f/∂y)^T$$
方向更容易找到最小值。

梯度下降

基本概念

• 步长
• 损失函数
• 特征
• 假设函数