线性回归

• 线性模型基本形式

• • 线性回归

我们将数据集的数据量记为m,向量x的维数即数据的属性数目记为k,试图学得：

线性回归就是要找到向量w和b，使得我们的预测值和实际样本的值y的均方误差最小。

 

求导过程如下：

最后我们可以求得w,b的值。

 

更一般的情况下，我们将b吸收进向量w中，并在每一行属性值的后面增加元素1。

如：

那么可以得到西瓜书3.9公式

 

https://pan.baidu.com/s/1EXCwba9tBX6aXfonWlFAWg

（3.10推导过程来自网友，侵删）

• • 对数线性回归

线性回归模型可以简写为：

这个模型使得我们的预测值逼近真实值y，当我们的输出值y是在指数级别变化时，我们可以这样使用线性回归模型预测y。

• • 广义线性模型