机器学习实战（7）--回归

1.线性回归
回归问题的简单模型是输入变量的线性回归：
y=wT*X
根据样本来计算W的值，一般使用平方误差：

计算得到w的值为：

2.局部加权回归
线性回归的一个问题是有可能出现欠拟合现象。所以有些方法允许在估计中引入一些偏差，从而降低预测的均方误差。
其中一个方法是局部加权线性回归。我们给待预测点附近的每个点赋予一定的权重。同样用最小均方误差。得到W为：

使用核来对附近的点赋予权重，常使用的是高斯核：

构建了一个只含对角元素的权重矩阵W，且点X与X(i)越近，W(i,i)越大。
3.岭回归
由于XT*X的逆不一定存在，所以岭回归就是在矩阵XT*X上加一个
最后得到：