机器学习-笔记3

    coursera上的Marchine Learning课程进展到了VII:Regullarization,目前一切轻松正常，学习群居然达到了80人，这个Group应该算是这个课程最大的Study Group了吧，九月就要开学了，可能就不会有像暑假那样充足的时间，况且另一门Statistics One也马上就要开课了，当然我以后的自我学习重心会偏向机器学习，书也基本到货，加油了！

   最近几节课主要是关于 Logistic Regression的，即是对于y是离散的点的情况，比如说y只会等于0或者1，这是更多情况的基础，课程进而介绍了Regularization来使这个算法更有效果，同以往一样，课程内容在exercise 2里面得到了充分的体现。很有意思

   另外值得注意的是Andrew提到的fminunc函数，对于应用级别的算法，这个函数应该会常用得多。I guess

   costFunction主要是对下面两个公式的具体实现，根据以往的学习经验，对计算进行数组化有事半功倍的效果

   

---

h = sigmoid(X*theta);
J=sum(-y'*log(h)-(1.-y)'*log(1.-h))/m;
grad=(h-y)'*X/m;

---

其中sigmoid是一个S形的函数，其实好像就是高中生物里的那个生物的S型生长曲线，具体的表达式是

这应该会在大二的《概率》里面学，而且在Statistics One也应该有讨论，到时候应该需要更加深入地了解

执行效果大概就是下面这个样子（这是pdf里面的图片，因为某种不可抗地原因，我Octave画出来的图不如pdf上的漂亮，

但是趋势完全相同。。。。。matlab倒是一切正常）

接下来是Regularization，Regularization地好处就是算法会自动判断哪些feature是主要的feature，从而能够使预测结果更准确

实现方法很巧妙，但Andrew没讲why，说是需要自己揣摩，准备有时间看一下，下面是两个不同于上面的公式

以及实现代码：

---

h = sigmoid(X*theta);
theta_temp = theta(2:size(theta));
J = sum(-y'*log(h)-(1.-y)'*log(1.-h))/m+lambda/2/m*theta_temp'*theta_temp;
grad =(h-y)'*X/m+lambda/m*theta';
gradd=(h-y)'*X/m;
grad(1)=gradd(1);

---

因为对于grad来说，j=0和j！=0是不同的情况，所以为了写起来方便我用了一个gradd来算grad(1)，当然这拖慢了速度

肯定会有更好的写法，我就算是献丑了吧。

下面是结果

总的来说，越学习，越对ML感兴趣，大爱之！

本文出自 “DarkScope从这里开始（..” 博客，请务必保留此出处http://darkscope.blog.51cto.com/4254649/989046