线性回归

线性回归(Liner Regression)

回归(regression)与分类(classification)

1.分类问题输出的值是离散的，回归问题输出的值是连续的
e.g. 预测明天的温度，预测明天是否下雨
2.分类问题输出的值是定性的，回归问题输出的值是定量的
3.损失函数不同

回归基本形式的解释

f(x_i) = w^Tx_i + b
x若是一维则可以写成f(x) = wx + b，是个很熟悉的直线方程

x若是四维：

x1	x2	x3	x4	y
0.1	16	1	2	1.1
0.2	12	2	3	2.2
0.3	10	3	4	3.2

上表展示了，某特征x1,x2,x3,x4和标签y，其中x1,x2,x3,x4构成x向量，但是标签y却是标量。所以需要将向量x转换成标量（点乘结果为一个数值），及 w^Tx

最小二乘法

注：二乘，即平方

思想：让总的误差的平方最小的y就是真值，这是基于——如果误差是随机的，应该围绕真值上下波动。

上图描述的是，一条真实的直线，如果误差是随机的，那么采样得到的样本点应该在对应位置满足高斯分布，即围绕真值波动。

那么使所有 y_预测 - y_样本达到最小，即是我们要的结果。
也即：

损失函数

损失函数（loss function）或代价函数（cost function）是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。——百度百科

这里线性回归的损失就是 $$L(w)=\sum _{i=0}^n||w^T{x}_i-y_i|{|}^2$$
上式化简得：$$L(w)=(w^{T}X-Y^T)(Xw-Y)$$

求最小损失下的参数w

即：$$\hat{w}=argminL(w)$$

带入L(w)，并且对w求偏导得：
$$\frac{\partial L(w)}{\partial w}=2X^{T}Xw-2X^{T}Y$$
令其为0求得w：$$w=(X^{T}X{)}^{-1}{X}^{T}Y$$
此时，预测的回归线就找到了

概率的视角

我们使用最小二乘的时候，就默认了误差（噪声）服从高斯（正态）分布，即：
$$\xi \tilde{}N(0,{\sigma }^2)$$
于是有： y_样本 = y_预测 + ξ

即：
$$y_{样本}|x_i\tilde{}N(w^{T}X,{\sigma }^2)$$

极大似然估计

定义似然函数：$$\mathcal{L}(w)=logP(Y|X)$$
$$=\sum _{i=0}^{n}logP(y_i|x_i)$$带入高斯分布分布函数
$$=\sum _{i=0}^n(log\frac{1}{\sqrt{2\pi }}-\frac{1}{2{\sigma }^2}(y_i-w^T{x}_i{)}^2)$$
这里使$$\mathcal{L}(w)$$达到最大（log似然最大）时，求此时的w

几何视角

x1	x2	x3	x4	y
0.1	16	1	2	1.1
0.2	12	2	3	2.2
0.3	10	3	4	3.2

还是上面的例子，把其看成四个向量x1、x2、x3、x4、y，注：这个y是样本y_样本（y_样本 = y_预测+ξ _误差）。
因为所求的回归线是y_预测 = w^Tx,也就是可以使用这些x向量去表示y_预测，所以这些x和y_预测在同一个面（高维）内。
有误差的y_样本会游离于上述平面。于是用y_样本向上述平面做投影，即可得到y_预测

有关系：

式子：$$X^T(Y_{样本}-Y_{预测})=\overrightarrow{0}$$
其中设y_预测 = xβ^T
带入计算：
$$\beta =(X^{T}X{)}^{-1}{X}^{T}Y$$