斯坦福机器学习公开课--整理笔记(…

第三课内容如下:

一、过拟合与欠拟合

二、参数学习方法:有一个固定数目的参数集合来进行数据拟合的算法
      非参数学习方法:参数数目随训练集样本数目增长而增长。

三、局部加权回归(LOESS)算法,一种非参数学习方法。
接上一课线性回归的问题,我们需要解决的就是根据训练样本,得出一个最理想的Θ,使得损失函数
斯坦福机器学习公开课--整理笔记(2)
的值最小。但单纯根据这种方式,可能会出现过拟合或者欠拟合的情况,因为参数的个数是人工指定的,过多的参数对应过拟合,太少的参数对应欠拟合。

因此有了局部加权回归算法,其中心思想就是对于一个新进待预测的样本(x,y),用与该样本接近的局部区域中的训练集来拟合函数,如图中的黑线所示,以此得到的拟合曲线,将明显优于以全局样本的拟合结果(图中红线)。
斯坦福机器学习公开课--整理笔记(2)

此方法实现的关键在于,对于原来的损失函数J(θ),引入一个权值w


斯坦福机器学习公开课--整理笔记(2)
w取值如下,可以看出,越是离待预测点近的训练样本,所占权值越大,自然地,对于损失函数的影响也就越大

斯坦福机器学习公开课--整理笔记(2)
以此得到的损失函数,可以更好地拟合局部区域的特征。

当然,和批量梯度下降一样,这种方法局限性在于,由于每次均需要用到全部的训练集,因此训练集样本过大时开销过大。

四、为何要使用最小二乘?
具体推导见视频,对于一般性的线性回归问题,之所以使用最小二乘,原因在于这样可以在假设误差项服从高斯分布且独立同分布,使得似然性最大化,即选择合适的参数θ,使得数据出现的可能性尽可能大(关于似然性详见最大似然估计)。

五、逻辑回归模型
在线性回归中,通过用梯度下降等方法,可以得到参数向量θ,从而得到一个线性回归模型来表达分类问题,如下图1.a,但随之而来也有一个问题,当分类的Y值取值为离散的,比如二分类中,Y取值仅为0和1,如果用线性回归,那么当训练集的X变化范围较大时,会导致模型无法正确的分类,如下图1.b,本应分到1的Y,被误分到0.
斯坦福机器学习公开课--整理笔记(2)
因此有了逻辑回归,推导过程略过,具体方法如下:
与线性回归类似,逻辑回归也是有一个回归方程,如下图斯坦福机器学习公开课--整理笔记(2)
可以看出,此方程范围局限在[0,1]区间,逻辑曲线在z=0时,十分敏感,在z>>0或z<<0处,都不敏感。
由此可以得到关于x的预测函数
斯坦福机器学习公开课--整理笔记(2)
它表示结果取1的概率,因此对于输入x分类结果为类别1和类别0的概率分别为:
斯坦福机器学习公开课--整理笔记(2)

到了这里,就可以用之前的梯度下降的方法,得到合适的θ值,从而得出预测函数了,同样的,这里也可以考虑随机梯度下降和批量梯度下降两种方法。(下图是批量梯度下降)
斯坦福机器学习公开课--整理笔记(2)
关于此函数的导出,视频中讲了很长一截推导,可以详细去看一看,最后得出的这个公式与前一课的线性回归梯度下降的公式类似,注意比较两者的区别。

六、感知器算法
视频中只简单地提了一下,类似于逻辑回归的形式,只是把g(x)换成了一个输出只有0,1两个值的函数,之后在学习理论章节会继续提到。
阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/bloodfeast/article/details/77850015
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭