PRML读书会第三章 Linear Models for Regression(线性基函数模型、正则化方法、贝叶斯线性回归等)

主讲人 planktonli

planktonli(1027753147) 18:58:12 
大家好，我负责给大家讲讲 PRML的第3讲 linear regression的内容，请大家多多指教，群主让我们每个主讲人介绍下自己，赫赫,我也说两句，我是 applied mathematics + computer science的，有问题大家可以直接指出，互相学习。大家有兴趣的话可以看看我的博客: http://t.qq.com/keepuphero/mine，当然我给大家推荐一个好朋友的，他对计算机发展还是很有心得的,他的网页http://www.zhizhihu.com/ 对machine learning的东西有深刻的了解。

好,下面言归正传，开讲第3章，第3章的名字是 linear regression，首先需要考虑的是: 为什么在讲完 introduction、probability distributions 之后就直讲 linear regression? machine learning的essence是什么?

机器学习的本质问题: 我个人理解,就是通过数据集学习未知的最佳逼近函数，学习的 收敛性\界 等等都是描述这个学习到的function到底它的性能如何。但是,从数学角度出发,函数是多样的，线性\非线性\跳跃\连续\非光滑，你可以组合出无数的函数,那么这些函数就组成了函数空间，在这些函数中寻找到一个满足你要求的最佳逼近函数,无疑大海捞针。我们再来回顾下第一章的 曲线拟和问题：

需要逼近的函数是: ，M阶的曲线函数可以逼近么？这是我们值得思考的问题。






要曲线拟和, 那么拟和的标准是什么?这里用了2范数定义,也就是误差的欧式距离，当然,你可以用 L1,L无穷，等等了 ，只是objective不同罢了。现在的疑问是: 为什么要用Polynomial Fitting?有数学依据么，这里牵扯到 范函的问题，就是函数所张成的空间，举一个简单的例子，大家还都记得 talyor展式吧：

这表明 任意一个函数可以表示成 x的次方之和，也就是 任意一个函数 可以放到  所张成的函数空间，如果是有限个基的话就称为欧式空间，无穷的话 就是 Hilbert空间，其实 傅里叶变换 也是这样的一个例子，既然已经明白了 任意函数可以用Polynomial Fitting，那么下面就是什么样的 Polynomial是最好的。
Wilbur