机器学习之线性回归

线性回归方程：
f（X）=X’W
这里X是矩阵，每一列代表一个数据，最后一维表示常数1.
W是我们要求的参数。
这里x’表示转置

线性回归的目标方程：

其中T代表转置
本质：预测结果与实际结果的方差，我们的目标就是要求该误差尽量小。显然这个目标函数是一个凸函数，极小就是最小。
该目标方程的矩阵形式：

对W求偏导数，令偏导数等于0。具体过程
偏导数：

这里的-1表示是矩阵的逆。
至此，我们已经可以从一定样本进行线性回归找出直线的最优解。当前求出的W是最优解。
我们可以看到上式要求矩阵的逆，显然当矩阵是不可逆时，上式是行不通的。并且求矩阵的逆运算复杂，当矩阵很大时，计算量很大。
下面给出解决上述问题的方法：
1.岭回归：主要解决不可逆的情况：
计算公式如图：

其中I是单位矩阵，显然加入这么矩阵可以保证矩阵是正定的，因此，矩阵也就是可逆的。
2.梯度下降法，解决矩阵过大时计算量的问题。
公式：

其中alpha是学习率。
具体操作过程：
先随机初始化W
然后迭代上述公式，直到最后指定的迭代次数，或者W达到最优为止。
当然解决上述问题：还有很多：回溯线性搜索、二分插值等等。