机器学习理论篇之线性回归（python实现）

1. 线性回归模型：（M个样本，n个特征值，一个bias）

矩阵化表现形式：

注意这里采用的XW的向量表示形式，如果要采用W（T）X的形式X矩阵的向量表现形式就不一样了。

其实机器学习的目的就是要求出最优的W参数值，因此我们需要用到损失函数。

2.损失函数（cost）：

  最小二乘法表示损失函数：

      何为最小二乘法，其实很简单。我们有很多的给定点，这时候我们需要找出一条线去拟合它，那么我先假设这个线的方程，然后把数据点代入假设的方程得到观测值，求使得实际值与观测值相减的平方和最小的参数。

M是样本数量，就是我们训练样本的数量。如果每一个样本单独求损失函数的话，最后要求和才是整个模型的损失函数

如果是用向量矩阵求损失函数的话，所有样本全部代入，直接求出来的是一个值，就是模型的损失函数。

注意：上面的两个大小写y实际上是同一个y，都是样本真实值的向量，是M×1维的向量矩阵

分析一下：向量矩阵的维度：

X 是M×（n+1）维

W是（n+1）×1维

XW是 M×1维

y是M×1维

我们的目的就是要使损失函数最小，然后求出损失函数最小的W，这时候我们求最小损失函数有两种情况：

3.学习过程：求出损失函数最小的W

 a.矩阵满秩时求解