今天和大家分享coursera-NTU-機器學習基石(Machine Learning Foundations)-作业三的习题解答。笔者在做这些题目时遇到很多困难,当我在网上寻找答案时却找不到,而林老师又不提供答案,所以我就想把自己做题时对题目如何思考的写下来,为大家提供一些思路。当然,我对题目的理解不一定是正确的,如果各位博友发现错误请及时留言联系,谢谢!再次提醒:请不要以此博客作为通过考试的用途,还是更好学习、理解课程的途径!希望我的博客对您的学习有所帮助!
本文出处:http://blog.csdn.net/a1015553840/article/details/51103628
其他作业解析请看汇总贴:http://blog.csdn.net/a1015553840/article/details/51085129
第三次作业林老师主要讲了四大块内容:
1.线性回归(Linear Regression):线性回归方程 ,错误计算方法为square error,参数w计算方法,pseudo-inverse,线性回归实现步骤等
2.逻辑回归(Logistic Regression):逻辑回归理论,错误计算方法cross entropy error,梯度下降法求最优解并推到逻辑回归的梯度下降公式
3.线性模型(Linear Model for Classification):证明了线性回归和逻辑回归也能用于线性分类(VC bound),随机梯度下降法(Stochstic),多类别分类OVA,OVO
4.非线性转化(Noliear Transformation):介绍了如何把低维空间内的高次曲线化为高纬空间内的线性分类,并说明他的局限性(转换代价大)
1.第一题
(1)题意:在目标函数f上添加噪声epsilon,噪声强度为sigma^2,Ein的计算公式也已经给出。求给定sigma=0.1,d=8时,能使Ein大于0.008的最小样本数N
(2)分析:这是一道很普通的计算题,把值带入计算可以了
(3)答案:100
2.第二题
(1)题意:hat marix H的定义已经给出,求五项陈述哪些是正确的
(2)分析:老师在上课的时候说过H的作用是将y从N维空间投影到X召开得到的d+1维度空间