机器学习
gactyxc
这个作者很懒,什么都没留下…
展开
-
机器学习——牛顿法
首先,讨论一个简单的例子,如果想要寻找函数f(x)=0的点,可以进行如下操作。 假如我们的初始值为X0,则作 f(x)在该点的切线,寻找切线与X轴的交点,以该点为已知点,寻找切线,重复上述操作,则可快速的逼近f(x)=0的点。 将该思想用于求解最大似然函数,一般最大的值均满足=0,则对进行操作即可。若为高维分布时,有,其中。 值得说明的是,该算法如果样本数不是很多时,迭代效率较随机梯原创 2016-09-09 16:20:19 · 593 阅读 · 1 评论 -
从GLM广义线性模型到线性回归、二项式及多项式分类——机器学习笔记整理(一)
作为一名机器学习的爱好者,最近在跟着Andrew Ng 的 Machine Learning 学习。在讲义的第一部分中,Ng首先讲解了什么叫做监督学习,其次讲了用最小二乘法求解的线性模型,用sigmod函数表示响应函数的logistics回归,接着,利用这两种模型,推出了一种应用十分广泛的指数分布族,在指数分布族的基础上,进行模型的假设,创建了GLM模型,利用这种模型,创建了多项式分布的模型求解。原创 2016-09-11 19:16:16 · 4202 阅读 · 0 评论 -
梯度下降算法
在Andrew Ng 的机器学习中,首先接触的便是梯度下降法。梯度下降法是一种最优化算法,其目的是为了求解无约束优化问题,沿着梯度的方向递归性的逼近最小偏差模型。 梯度下降算法形象来说就是将目标函数比作一座山,我们站在山顶上,通过梯度的方向来寻求一条下山最快的路。但在刚开始接触的时候,对梯度的理解不深,不明白为什么要进行的操作,因此从梯度到方向导数逐步进行了学习。 参考PPT链接:原创 2016-09-03 19:05:28 · 731 阅读 · 0 评论