《西瓜书》-3.线性回归

3.线性回归

3.1.什么是回归

回归是监督学习的一个重要问题，回归用于预测输入变量和输出变量之间的关系。

回归模型是表示输入变量到输出变量之间映射的函数

回归问题的学习等价于函数拟合：使用一条函数曲线使其很好的拟合已知函数且很好的预测未知数据。

回归问题分为模型的学习和预测两个过程。基于给定的训练数据集构建一个模型，根据新的输入数据预测相应的输出。

回归问题分类：

按照输入变量的个数可以分为一元回归和多元回归；

按照输入变量和输出变量之间关系的类型，可以分为线性回归和非线性回归。

3.2.一元线性回归

证明损失函数E(w,b)是关于w和b的凸函数

看这个之前先看首先需要明白以下定理：

1. 二元函数判断凹凸性

设在区域D上具有二阶连续偏导数，记，，则

（1）在D上,恒有A>0,且时，在区域D上是凸函数;

（2）在D上,恒有A<0,且时，在区域D上是凹函数。

2. 二元凹凸函数求最值

设是在开区域D内具有连续偏函数的凸(或者凹)函数，且，，则必为在D内的最小值(或最大值)

根据上述定理，我们应该首先求出A、B、C

上式即为式3.5

上式即为式3.6

 

此式A是大于0的，因为A如果等于0，则所有的，没有意义

接下来看

其中为x的均值，又因

所以

m是大于等于0的，，即，也即损失函数E(w,b)是关于w和b的凸函数。

求解过程：

令一阶偏导数等于0求b：

得：

上式即为式3.8，同时对