機器學習基石(Machine Learning Foundations) 机器学习基石 作业三 课后习题解答

        今天和大家分享coursera-NTU-機器學習基石(Machine Learning Foundations)-作业三的习题解答。笔者在做这些题目时遇到很多困难，当我在网上寻找答案时却找不到，而林老师又不提供答案，所以我就想把自己做题时对题目如何思考的写下来，为大家提供一些思路。当然，我对题目的理解不一定是正确的，如果各位博友发现错误请及时留言联系，谢谢！再次提醒：请不要以此博客作为通过考试的用途，还是更好学习、理解课程的途径！希望我的博客对您的学习有所帮助！

本文出处：http://blog.csdn.net/a1015553840/article/details/51103628

其他作业解析请看汇总贴：http://blog.csdn.net/a1015553840/article/details/51085129

        第三次作业林老师主要讲了四大块内容:

1.线性回归（Linear Regression）：线性回归方程 ，错误计算方法为square error，参数w计算方法，pseudo-inverse，线性回归实现步骤等

2.逻辑回归（Logistic Regression）:逻辑回归理论，错误计算方法cross entropy error，梯度下降法求最优解并推到逻辑回归的梯度下降公式

3.线性模型（Linear Model for Classification）:证明了线性回归和逻辑回归也能用于线性分类（VC bound）,随机梯度下降法（Stochstic），多类别分类OVA,OVO

4.非线性转化（Noliear Transformation）:介绍了如何把低维空间内的高次曲线化为高纬空间内的线性分类，并说明他的局限性（转换代价大）

1.第一题

（1）题意：在目标函数f上添加噪声epsilon，噪声强度为sigma^2，Ein的计算公式也已经给出。求给定sigma=0.1，d=8时，能使Ein大于0.008的最小样本数N

（2）分析：这是一道很普通的计算题，把值带入计算可以了

（3）答案：100

2.第二题

（1）题意：hat marix H的定义已经给出，求五项陈述哪些是正确的

（2）分析：老师在上课的时候说过H的作用是将y从N维空间投影到X召开得到的d+1维度空间上。（I-H）是指y与展开平面的垂直距离。对角线trace(I-H) = N-(d+1)

   &n