coursera上的Marchine Learning课程进展到了VII:Regullarization,目前一切轻松正常,学习群居然达到了80人,这个Group应该算是这个课程最大的Study Group了吧,九月就要开学了,可能就不会有像暑假那样充足的时间,况且另一门Statistics One也马上就要开课了,当然我以后的自我学习重心会偏向机器学习,书也基本到货,加油了!
最近几节课主要是关于 Logistic Regression的,即是对于y是离散的点的情况,比如说y只会等于0或者1,这是更多情况的基础,课程进而介绍了Regularization来使这个算法更有效果,同以往一样,课程内容在exercise 2里面得到了充分的体现。很有意思
另外值得注意的是Andrew提到的fminunc函数,对于应用级别的算法,这个函数应该会常用得多。I guess
costFunction主要是对下面两个公式的具体实现,根据以往的学习经验,对计算进行数组化有事半功倍的效果
h = sigmoid(X*theta); J=sum(-y'*log(h)-(1.-y)'*log(1.-h))/m; grad=(h-y)'*X/m;
其中sigmoid是一个S形的函数,其实好像就是高中生物里的那个生物的S型生长曲线,具体的表达式是
这应该会在大二的《概率》里面学,而且在Statistics One也应该有讨论,到时候应该需要更加深入地了解
执行效果大概就是下面这个样子(这是pdf里面的图片,因为某种不可抗地原因,我Octave画出来的图不如pdf上的漂亮,
但是趋势完全相同。。。。。matlab倒是一切正常)
接下来是Regularization,Regularization地好处就是算法会自动判断哪些feature是主要的feature,从而能够使预测结果更准确
实现方法很巧妙,但Andrew没讲why,说是需要自己揣摩,准备有时间看一下,下面是两个不同于上面的公式
以及实现代码:
h = sigmoid(X*theta); theta_temp = theta(2:size(theta)); J = sum(-y'*log(h)-(1.-y)'*log(1.-h))/m+lambda/2/m*theta_temp'*theta_temp; grad =(h-y)'*X/m+lambda/m*theta'; gradd=(h-y)'*X/m; grad(1)=gradd(1);
因为对于grad来说,j=0和j!=0是不同的情况,所以为了写起来方便我用了一个gradd来算grad(1),当然这拖慢了速度
肯定会有更好的写法,我就算是献丑了吧。
下面是结果
总的来说,越学习,越对ML感兴趣,大爱之!
本文出自 “DarkScope从这里开始(..” 博客,请务必保留此出处http://darkscope.blog.51cto.com/4254649/989046