回归算法（一）：线性回归

以下所说的样本数量是 M，特征数量是 N

一、一元线性回归

模型输出：；w是特征权重，b是偏置参数

如何拟合出最佳的曲线：最小化即可。

以上是高中知识。

二、多元线性回归

模型输出：

公式转换：

记住这个结论：累加可以变成一个行向量x列向量。对下面的公式推导很有帮助。

 为了让公式更加简洁，为什么不把b放进向量里呢？于是有：

得： 

所以有：

如何拟合出最佳曲线，最小化即可。

要求最小值，则先求导，下面讲解如何一步步求导：

公式一

 w(n+1)就是b。接着先求对w1的求导：

利用上文的结论： 累加可以变成一个行向量x列向量。于是原式继续转换：

接着，计算对w2的求导，得：

接着，你会发现上面的行向量都是相等的，而列向量则与对哪个w求导有关。认真想一想矩阵相乘的过程，就会发现这个行向量是可以合并成一个矩阵的，所以有：

x(n+1)是单位向量1 。这里w还可以拆出来，为了变成大家经常见的格式，于是这里转换成：w^T·x=x^T·w

这就变成了大家熟悉的样子。

令导数=0，得：

如果（X^T X）不可逆，则加入正数λ：

还可以使用梯度下降法，在下一篇中提到。

接下来，引入逻辑回归。 

欢迎转载，转载请标明出处。