![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
记录一些经典算法及实现过程
Cludy_Sky
这个作者很懒,什么都没留下…
展开
-
用python+numpy+matplotalib实现梯度下降法
这个阶段一直在做和梯度一类算法相关的东西,索性在这儿做个汇总,一、算法论述梯度下降法(gradient descent)别名最速下降法(曾经我以为这是两个不同的算法-.-),是用来求解无约束最优化问题的一种常用算法。下面以求解线性回归为题来叙述:设:一般的线性回归方程(拟合函数)为:(其中的值为1) 则这一组向量参数选择的好与坏就需要一个机制来评估,据此我们提出了其损失函数为(选择均方误差):...原创 2017-07-30 17:11:56 · 3980 阅读 · 6 评论 -
python实现随机梯度下降法
看这篇文章前强烈建议你看看上一篇python实现梯度下降法:一、为什么要提出随机梯度下降算法注意看梯度下降法权值的更新方式(推导过程在上一篇文章中有) 也就是说每次更新权值都需要遍历整个数据集(注意那个求和符号),当数据量小的时候,我们还能够接受这种算法,一旦数据量过大,那么使用该方法会使得收敛过程极度缓慢,并且当存在多个局部极小值时,无法保证搜索到全局最优解。为了解决这样的问题,引入了梯度下...原创 2017-08-01 09:40:25 · 11843 阅读 · 1 评论