【线性回归】面向新手的基础知识

线性回归建模

首先考虑一个情景，假设我们希望用线性回归预测房屋的售价。一般网上公开的房价预测数据集都至少包含房屋的面积、厅室数量等特征以及房屋的售价：

面积($x_1$)	厅室数量($x_2$)	价格(万元)(y)
64	3	225
59	3	185
65	3	208
116	4	508
……	……	……

对此数据，我们可以建立售价和特征属性之间的关系：
$$f(x)=w_0+w_1{x}_1+w_2{x}_2$$
更一般的，假如我们有数据集：
{ ( x ( 1 ) , y ( 1 ) , ( ( x ( 2 ) , y ( 2 ) ) , . . . , ( ( x ( n ) , y ( n ) ) } x i = ( x 1 ; x 2 ; x 3 ; . . . ; x d ) , y i ∈ R \{(x^{(1)},y^{(1)},((x^{(2)},y^{(2)}),...,((x^{(n)},y^{(n)})\} \\ x_i = (x_{1};x_{2};x_{3};...;x_{d}),y_i\in R { (x(1),y(1),((x(2),y(2)),...,((x(n),y(n))}xi​=(x1​;x2​;x3​;...;xd​),yi​∈R
其中，n 表示样本的个数，d表示特征的个数。则y与样本x的特征之间的关系为：
$$\begin{array}{rl}f(x)& =w_0+w_1{x}_1+w_2{x}_2+...+w_d{x}_d\\ & =\sum _{i=0}^d{w}_i{x}_i\end{array}$$
其中，我们假设$x_0$=1，下文都作此假设。

线性回归损失函数、代价函数、目标函数

1. 损失函数：度量单个样本的错误程度。常用的损失函数有：0-1损失函数、平方损失函数、绝对损失函数、对数损失函数等。
2. 代价函数：度量所有样本的平均错误程度，也就是所有样本损失函数的均值。常用的代价函数包括均方误差(MSE)、均方根误差(RMSE)、平均绝对误差(MAE)等。
3. 目标函数：代价函数与正则化函数的结合，也是最终要优化的函数。

我们的目标是找到一组合适的w，使得 $f(x)\approx y$ 。对于回归问题，有许多性能度量方法，其中常用的一个是均方误差(MSE)，即：
$$J(w)=\frac{1}{2}\sum _{j=1}^n(f_w(x^{(j)})-y^{(j)}{)}^2$$
我们称$J(w)$为代价函数。注意到式子的系数不是1/n而是1/2，数是因为求导后的 $J^{\prime }(w)$ 系数为1，方便后续计算。为什么均方误差可以作为性能度量？可以从极大似然估计（概率角度）入手。

为了能够能精确的表达特征和目标值y的关系，引入了误差项ϵ，表示模型受到的未观测到的因素的影响。于是我们可以假设：
$$y^{(i)}=w^T{x}^{(i)}+{ϵ}^{(i)}$$
使用回归模型需要满足许多前提假设，其中一个是要求ϵ独立同分布，且服从$N(0,{\sigma }^2)$的高斯分布(正态分布)：
$$p({ϵ}^{(i)})=\frac{1}{\sqrt{2\pi }\sigma }exp\left(-\frac{({ϵ}^{(i)}{)}^2}{2{\sigma }^2}\right)$$
所以在给定w和x的前提下，$y^{(i)}$ 服从$N(w^T{x}^{(i)},{\sigma }^2)$的正态分布。
$$p(y^{(i)}|x^{(i)};w)=\frac{1}{\sqrt{2\pi }\sigma }exp\left(-\frac{(y^{(i)}-w^T{x}^{(i)}{)}^2}{2{\sigma }^2}\right)$$
现在我们已经知道$y^{(i)} $的分布，但是我们不知道他的参数 $w^T{x}^{(i)},{\sigma }^2$ ，极大似然估计法来正是用来解决此类问题的，假设样本独立同分布，最大化似然函数，来进行参数估计。最大化似然函数的原理说简单点就是在一次观测中，发生了的事件其概率应该大。概率大的事在观测中容易发生，所以我们希望让每一个$p(y^{(i)}|x^{(i)};w)$都最大化，这等效于他们的乘积最大化。于是不难得到似然函数：
L ( w ) = ∏ i = 1 n 1 2 π σ e x p ( − ( y ( i