机器学习笔记（二）

机器学习笔记（2,3课）

一.线性回归的概率解释
1.数学模型

我们的目的是较好的拟合x,y之间的关系，但是实际上我们并不知道x,y之间的具体关系，而且这种关系也很难用精确的数学公式去表达。因此，引入误差项,这样上式就是合理而且精确的表达。
然后，继续假定
按照我的理解，这个假定就不具有一般性了。根据中心极限定理，符合高斯分布是合理的，但是并不一定是均值为0的高斯分布，方差也不一定是一样的。但是对于回归问题，经验实际表明这是一个合理的假设。
在建立了上式的数学模型后，就可以用数学式表达xi,yi出现的概率。之后再使用最大似然估计，就可以得出与之前线性回归里面的最小二乘方法一样的结果。

2.概率解释
对于回归问题，使用线性回归和最小二乘法求解，在本质上等价于用上面所述的数学式去刻画xi,yi出现的概率，这就证明了最小二乘法的合理性。
个人理解，这里的概率解释也是给出了对于未知模型使用概率建模的一种思路。概率是描述不确定事件的理论根基，最小二乘法可以看成是使用概率来对回归问题进行建模。之后要讲的logistic回归应当就是这样做的。

二．局部加权线性回归
1.数学模型