ML算法——梯度下降随笔【机器学习】

2.1、梯度下降

• 梯度下降如何帮助参数优化？

  梯度下降是一种用于参数优化的常见方法。它的基本思想是通过迭代地更新参数，以减小损失函数|代价函数的值，从而找到一个最优解。

• 梯度方向：→|向右|正向 ←|向左|反方向

• 梯度方向是指函数在该点处变化率最大（上升或下降最快）的方向。在这个梯度方向来迭代更新参数，函数值可以更快的下降到局部最小值。

• 梯度的模长为函数在该方向上的变化率。

• 梯度下降数学公式

  ${\Theta }_1={\Theta }_0+\alpha ▽J(\Theta )\to evaluatedat\Theta 0$

  其中，J是关于Θ的一个函数，当前位置为${\Theta }_0$点，要从这个点走到J的最小值点，也就是山底。首先我们先确定前进的方向，也就是梯度的反向，然后走一段距离的步长，也就是α，走完这个段步长，就到达了这个点！

  

• 梯度下降和模型拟合的关系？

梯度下降和模型拟合不是一回事。梯度下降是用于模型参数估计的一种优化算法，用于寻找损失函数的最小值。模型拟合是一种通过已知的观测数据，来近似模拟自变量与因变量之间的关系，并进行模型的修正完善、预测等数据分析任务的过程。具体来说，模型拟合的主要思想是通过收集数据点对，利用近似准则，对各数据点之间的关系进行分析，拟合。在这个过程中，需要注意对原始数据进行变换，以使得拟合结果更加准确。

在机器学习中，通常使用梯度下降来进行模型参数的更新，以达到模型拟合的效果。

• 怎么找梯度图像中，最陡峭的方向？

最陡峭的方向便是梯度方向。数学理解，梯度实际上就是多变量微分的一般化。

$J(\Theta )=0.68-(6{\theta }_1-7{\theta }_2+8{\theta }_3)$

$▽J(\Theta )=⟨\frac{\partial {\theta }_1}{{\partial }_J},\frac{\partial {\theta }_2}{{\partial }_J},\frac{\partial {\theta }_3}{{\partial }_J}⟩=(-6,7,-8)$

梯度是一个向量,用<>包裹起来，梯度的方向是函数在给定点上升最快的方向，那么梯度的反方向就是函数在给定点下降最快的方向。

全微分的结果就是函数变化最陡峭的方向，变化率最大的方向常常作为梯度方向，所以全微分的结果可以作为梯度方向。在实际图像处理中，我们通常不直接使用函数的全微分来确定梯度方向，而是使用更高效的算法如Sobel、Prewitt、Scharr等来计算图像中每个像素点处的梯度幅值和梯度方向。

• 机器学习涉及到的凸函数是高数上的凸函数？

不是，甚至完全相反。

高数凸函数：

$$f((x_1+x_2)/2)\le (f(x1)+f(x2))/2$$

机器学习凸函数：

定义域是凸集， 对于定义域里面的任意x , y ，函数满足
$$f(\theta x+(1-\theta )y)\le \theta f(x)+(1-\theta )f(y)$$

其中，凸集：

集合C内任意两点间的线段也均在集合C内，则称集合C为凸集。