机器学习WEEK5线性回归

线性回归

线性回归就是将输入项分别乘以一些常量，在将结果加起来得到输出。 假定输入数据存放在矩阵 x 中，而回归系数存放在向量 w 中。 那么预测结果可以通过Y=X的转置*W得出。所以我们求解线性回归模型的核心就在于求解w，如何求呢？首先，我们一定是希望预测出来的值和实际值之间的误差越小越好，所以我们评判w好坏，就可以采用实际值与真实值之差表示，但是这个差有正有负，为了避免正负相互抵消的情况，我们采用平方误差（也就是最小二乘法）

平方误差，我们也可以叫他损失函数。我们现在就是要以w为变量求解损失函数的最小值。

我们可以对w进行求导，令其为0，可得到我们所要求解w所需的计算公式。

最小二乘法： 最小二乘法是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。

回归的一般方法

(1) 收集数据：采用任意方法收集数据。
(2) 准备数据：回归需要数值型数据，标称型数据将被转成二值型数据。
(3) 分析数据：绘出数据的可视化二维图将有助于对数据做出理解和分析，在采用缩减法 求得新回归系数之后，可以将新拟合线绘在图上作为对比。
(4) 训练算法：找到回归系数。
(5) 测试算法：使用R2或者预测值和数据的拟合度，来分析模型的效果。
(6) 使用算法：使用回归，可以在给定输入的时候预测出一个数值，这是对分类方法的提 升，因为这样可以预测连续型数据而不仅仅是离散的类

局部加权线性回归

线性回归的一个问题是有可能出现欠拟合现象，因为它求的是具有小均方误差的无偏估 计。显而易见，如果模型欠拟合将不能取得好的预测效果。所以有些方法允许在估计中引入一 些偏差，从而降低预测的均方误差。

其中的一个方法是局部加权线性回归。在该算法中，我们给待预测点附近的每个点赋予一定的权重；在这个子集上基于 小均方差来进行普通的回归。

局部加权线性回归的基本思想：设计代价函数时，待预测点附近的点拥有更高的权重，权重随着距离的增大而缩减——这也就是名字中“局部”和“加权”的由来。

权重如何求取：

区别在于此时的代价函数中多了一个权重函数W，这个W要保证，越靠近待测点附近权值越大，越远离待测点权值越小。 这个函数W一般取用：x是待测点，k控制了权值变化的速率，k越大，图像越瘦，离x越远权值下降越快。

局部加权线性回归存在的问题

增加了计算量，对每个数据点做预测的时候都必须使用整个数据集合。有点类似与kmean算法

缩减系数来“理解”数据

如果数据的特征比样本点还多，会导致在计算(XTX)-1的时候会出错。也就是说输入数据的矩阵x不是满秩矩阵。非满秩矩阵在求逆的时候会出错。为了解决这个问题所以引入了岭回归。

岭回归

岭回归就是在矩阵X.TX上加一个λI从而使得矩阵非奇异，进而能对X.TX + λI求逆。其中矩阵I是一个m×m的单位矩阵，对角线上元素全为1，其他元素全为0。而λ是一个用户定义的 数值。在这种情况下，回归系数的计算公式将变成：

通过引入λ来限制了所有w之和，通过引入该惩罚项，能够减少不重要的参数，这 个技术在统计学中也叫做缩减（shrinkage）。

岭回归中的岭是什么？单位举证I的对角线上面都是1，其他元素都是0。看起来就像是1组成的岭。

岭回归在鲍鱼数据集上的运行效果

λ非常小时，系数与普通回归一样。而λ非常大时， 所有回归系数缩减为0。可以在中间某处找到使得预测的结果好的λ值

前向逐步回归

前向逐步回归算法可以得到与lasso差不多的效果，但更加简单。它属于一种贪心算法，即每 一步都尽可能减少误差。一开始，所有的权重都设为1，然后每一步所做的决策是对某个权重增 加或减少一个很小的值。

这个算法感觉很像感知器训练的思想啊。

伪代码：

数据标准化，使其分布满足0均值和单位方差 在每轮迭代过程中：
设置当前最小误差lowestError为正无穷
对每个特征：
增大或缩小：
改变一个系数得到一个新的W
计算新W下的误差
如果误差Error小于当前最小误差lowestError：设置Wbest等于当前的W
将W设置为新的Wbest

小结

这两周的学习由于考试拉下了许多，这周之后一定补上落下的学习进度。