线性回归

概述

1、回归与分类的区别：

• 回归：在一个区间中求解具体值
• 分类：得到一个分类值

2、线性回归问题：寻找一条最适合的线最好地拟合数据

3、整合成矩阵形式：高效
$$h_{\theta }(x)={\theta }^{T}X$$

• 将X扩增一列全1向量，与${\theta }_0$相乘得到偏置量

推导目标函数

1、误差($\epsilon$)：真实值与预测值的差异

• 每个样本$x_i$的误差${\epsilon }^{(i)}$是独立同分布，且服从均值为0，方差为${\theta }^2$的高斯分布

2、似然函数的推导

• 预测值：$y^{(i)}={\theta }^T{x}^{(i)}+{\epsilon }^{(i)}$（1）
• ${\epsilon }^{(i)}$的概率分布：$p({\epsilon }^{(i)})=\frac{1}{\sqrt{2\pi }\sigma }exp[-\frac{({\epsilon }^{(i)}{)}^2}{2{\sigma }^2}]$（2）
• 将（2）代入（1），得：
  $$p(y^{(i)}|x^{(i)};\theta )=\frac{1}{\sqrt{2\pi }\sigma }exp[-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2}]$$
• 似然函数：使预测值恰好为真实值的概率尽可能大的参数估计
  $$L(\theta )=\prod _{i=1}^{m}p(y^{(i)}|x^{(i)};\theta )$$
• 对数似然函数：将乘法转换为加法，简化计算
  $$logL(\theta )=mlog(\frac{1}{\sqrt{2\pi }\sigma })-\frac{1}{{\sigma }^2}\cdot \frac{1}{2}\sum _{i=1}^m(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2$$
  • 目标：使$L(\theta )$最大，即$logL(\theta )$最大
  • $mlog(\frac{1}{\sqrt{2\pi }\sigma })$是大于0的常数，$\frac{1}{2}\sum _{i=1}^m(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2$也大于0。因此$\frac{1}{2}\sum _{i=1}^m(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2$越小，则$logL(\theta )$越大
• 目标函数：
  $$J(\theta )=\frac{1}{2}\sum _{i=1}^m(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2$$
  • 最小二乘形式
  • 目标：预测值是真实值的可能性越大，$L(\theta )$越大，$J(\theta )$越小

求解参数值

1、对目标函数$J(\theta )=\frac{1}{2}(X\theta -y{)}^T(X\theta -y)$求偏导：
$${\nabla }_{\theta }J(\theta )={\nabla }_{\theta }[\frac{1}{2}(X\theta -y{)}^T(X\theta -y)]=X^{T}X\theta -X^{T}y$$
2、求$J(\theta )$的极小值：

• 令${\nabla }_{\theta }J(\theta )=0$，求解$\theta$
• $\theta =(X^{T}X{)}^{-1}{X}^{T}y$

3、很多情况下，$\theta$无法直接求解，线性回归是特例

评估方法

最常用的评估项：
$$R^2=1-\frac{\sum _{i=1}^m(\stackrel{\wedge }{y_i}-y_i{)}^2}{\sum _{i=1}^m(y_i-\overline{y_i}{)}^2}$$

• $\sum _{i=1}^m(\stackrel{\wedge }{y_i}-y_i{)}^2$：残差平方和
• $\sum _{i=1}^m(y_i-\overline{y_i}{)}^2$：类似方差项
• $R^2$越接近1，模型拟合得越好