最佳预测系数求取过程与最小二分法总结
最佳预测系数求取过程(手写)
最小二乘法总结
介绍
来自 Wikipedia:
最小二乘法(least squares method),又称最小平方法,是一种数学优化方法。它通过最小化误差的平方和寻找数据的最佳函数匹配。
利用最小二乘法可以简便的求得未知的数据,并使得求得的数据与实际数据之间误差的平方和为最小。
“最小二乘法”是对线性方程组,即方程个数比未知数更多的方程组,以回归分析求得近似解的标准方法。在这整个解决方案中,最小二乘法演算为每一方程式的结果中,将残差平方和的总和最小化。
“最小二乘法”是对线性方程组,即方程个数比未知数多的方程组,以回归分析求得近似解的标准方法。在这整个解决方案中,最小二乘法演算为每一方程式的结果残差平方和的总和最小化。其核心思想是求取误差函数并使其最小。
梯度下降法
函数在某点的梯度即为该函数在该点变化最快的方向,梯度下降法也因此称为最速下降法。
梯度下降法的本质为通过迭代求取目标函数最小值
同时,由于梯度还是函数在该点上升最快的方向,梯度下降法用负梯度方向为搜索方向。梯度下降法越接近目标值,步长越小,前进越慢。当函数只存在一个梯度为零的点时,各点梯度指向的点即为该点。但若其存在多个极值点或梯度为零的点时,梯度并不总指向其最低点/最高点,也就是我们想要的点,但我们可以通过此方法来决定函数走向并尽可能降低函数的值。
作为求解无约束优化问题最简单和最古老的方法之一,梯度下降法虽然在现在已经不具有实用性,但是许多有效算法都是以它为基础进行改进和修正而得到的。
牛顿法
牛顿法主要提供了一个针对非线性优化的解决方案。
其原理是利用泰勒公式,在 x 0 x_0 x0 处泰勒展开到一阶,即 f ( x ) = f ( x 0 ) + ( x - x 0 ) f ′ ( x 0 ) f(x)=f(x_0)+(x-x_0)f'(x_0) f(x)=f(x0)+(x-x0