南瓜书第三章（1） 线性回归

一、基本形式

1、线性模型试图学得一个通过属性的线性组合来进行预测的函数：

注意：函数中x为列向量，x的系数为行向量，即w的转置为行向量，w和b学得之后，模型就得以确定

2、线性模型形式简单、易于建模，许多功能强大的非线性模型可以在线性模型的的基础上通过引入层级结构或高维映射而得到

     w直观表达了个属性在预测中的重要性，例如由下式可知：通过综合考虑几种因素来判断瓜的好坏，其中根蒂最要紧，而敲声比色泽更重要。

二、线性回归

给定数据集D={(x1,y1), (x2,y2)，…,（xm，ym）了，其中xi =(xi1;xi2;.......;xid)，yi属于R．“线性回归” (linear regression)试图学得一个线性模型以尽可能准确地预测实值输出标记。

1、一元线性回归

预测误差：y与y'之间的距离

均方误差：所有点的预测误差之和

线性回归：均方误差最小的直线

正定回归：点到直线的垂直距离最短

（1）最小二乘法：

 均方误差有非常好的几何意义，它对应了常用的欧几里得距离。基于均方误差最小化来进行模型求解的方法称为“最小二乘法”。在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧式距离之和最小。

• 最小二乘法法中平方的目的是为了保证误差是正数 
• 对最小二乘法理解：对误差进行二乘（即平方）并求和（误差的平方和），得到损失函数，求出损失函数取最小值的函数中的参数

（2）最大似然估计： 

      常用最大似然估计来估计概率分布的参数值。

    最大似然估计的直观想法:使得观测样本出现概率最大的分布就是待求分布，也即使得联合概率(似然函数)L( θ)取到最大值的 θ*即为 θ的估计值。

与最小二乘估计的等价：

证明过程如下： 

（3）求解w与b

     损失函数即

1）求解w和b的关键就在证明损失函数E(w，b)是一个凸函数

  知识补充：

①凸集与凸函数

凸函数（直观上就是f向下凸出）

②多元函数的一阶导数

③多元函数的二阶导数

定理：设D包含于R是非空开凸集，f是D上的n维标量函数，且f(x)在D上二阶连续可微，如果f(x）的Hessian （海塞）矩阵在D上是半正定的，则f(x)是D上的凸函数 

 则由定理可知：只需证明E(w，b)的海塞矩阵是半正定的，则E(w，b)是关于w和b的凸函数。

证明E(w，b)是关于w和b的凸函数过程

2）再由凸函数的性质可求得w和b的数值

2、多元线性回归

多元线性回归在一元线性回归的基础上加了部分特征，x变为向量

(1)导出损失函数

（2）求w

    默认选用左侧分母布局

    令一阶导等于0，求出w