![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习基础
文章平均质量分 74
GlassySky0816
xuxu:kaggle Competitions Master(xuxu_sky)
展开
-
牛顿法(Newton Method)的原理和实现步骤
牛顿法的法的目的牛顿法不仅可以用来求解函数的极值问题,还可以用来求解方程的根,二者在本质上是一个问题,因为求解函数极值的思路是寻找导数为0的点,这就是求解方程。牛顿法的法的原理一元函数的情况根据一元函数的泰勒展开公式,我们对目标函数在点处做泰勒展开,有:如果忽略2次以上的项,则有:现在我们在点处,要以它为基础,找到导数为0的点,即导数为0。对上面等式两边同时求导,并令导数为0,可以得到下面的方程:可以解得:这样我们就得到了下一点的位置,从而走到x1。接下...原创 2021-11-05 22:17:55 · 22663 阅读 · 0 评论 -
梯度下降算法(Gradient Descent)的原理和实现步骤
梯度下降的目的绝大多数的机器学习模型都会有一个损失函数。比如常见的均方误差(Mean Squared Error)损失函数:损失函数用来衡量机器学习模型的精确度。一般来说,损失函数的值越小,模型的精确度就越高。如果要提高机器学习模型的精确度,就需要尽可能降低损失函数的值。而降低损失函数的值,我们一般采用梯度下降这个方法。所以,梯度下降的目的,就是为了最小化损失函数。...原创 2021-10-24 15:18:48 · 10395 阅读 · 0 评论