09机器学习——斯坦福NG
Nighterll
这个作者很懒,什么都没留下…
展开
-
090006 牛顿法
牛顿法是另外一种常见的获取参数的极大似然值的方法,如图所示, 当参数需要收敛到与x值相交的地方。如果选择从 开始,计算 处的切线,切线与x轴相交于,根据导数的定义,可以得到:因此:求似然函数L(Q),为得到似然函数的最大值,令,求此时的Q取值,则: 在实现该方法时,Q的初始值对结果影响并不大,一般取。实验证明牛顿法是一种很快的收敛算法,其收敛速原创 2014-11-07 11:02:52 · 1000 阅读 · 0 评论 -
090001 梯度下降
本讲NG大牛讲解了梯度下降(Gradient descent)方法 ,首先以波特兰俄勒冈的房屋面积和售价关系为例,讲解了监督学习的一般模式,通过一个训练集,利用学习算法,得到一个假设(历史原因造成的叫法,就是一个预测模型)。当输入值x进入,通过假设,得到一个预测值y,如图所示原创 2014-10-29 19:52:01 · 687 阅读 · 0 评论 -
090002 最小二乘推导
最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。原创 2014-11-05 09:39:26 · 1831 阅读 · 0 评论 -
090003 过拟合和欠拟合
在学习算法中,重要的两个问题,就是欠拟合(underfitting)和过拟合(overfitting),所谓欠拟合就是拟合程度不够,过拟合则顾名思义,拟合过度。下面三张图很清晰说明这个问题。原创 2014-11-05 20:33:35 · 829 阅读 · 0 评论 -
090004 局部加权回归算法
局部加权算法的算法思想如下图所示:如图所示,在特定的x点处,只考虑其临近区域的点,最终找到Q使得下式的值最小:其中当x非常接近时,该值较大,x距离较远时,该值较小。τ为波长函数,该值决定的临近区域点的影响力大小变化幅度。如图所示,当其值很小时如红线所示,当其值较大时如绿线所示。在每个点或者选定的点处进行加权拟合。该方法,在每次预测前,都需要选择周围的点进行加权拟合,因为局部区域内的原创 2014-11-05 21:11:13 · 726 阅读 · 0 评论 -
090005 逻辑回归
假设其中:于是高斯分布的概率为:回到卖房子的问题,房价的误差应该服从高斯分布的随机变量,即假设误差服从独立同分布IID,则Q的似然性定义为下式,也就是一系列高斯密度函数的乘积:从定义来看,似然性和概率很相似,但是一般说数据的概率,参数的似然性。训练的目的是使得参数似然性最大,也就是让数据出现的概率尽量大。为了数学证明的方便,定原创 2014-11-06 17:51:05 · 899 阅读 · 0 评论