机器学习7——线性回归

Liner Regression

 

1. 基本概念

• 线性
    两个变量之间的关系是一次函数关系，图像是直线，成正比例（反比例不是），叫做线性。

• 非线性
    两个变量之间的关系不是一次函数关系的—，图象不是直线，叫做非线性。

• 回归
    人们在测量事物的时候因为客观条件有限，求得的都是测量值，而不是事物真实的值。
    为了求得真实值，无限次的进行测量，最后通过这些测量数据计算回归到真实值。

• 线性回归
    线性回归是回归问题的一种，线性回归假设目标值（y）与特征（x）之间线性相关（满足多元一次方程）。
    我们通过构建损失函数，来求解损失函数最小时的参数 w 和 b。

2. 一般表达式

$$y=wx+b$$
w叫做x的系数
b叫做偏置项。

3. 实际用处

• 预测
    寻找到数据与数据之间的规律所在，从而就可以模拟出结果，也就是对结果进行预测。
    例如：对房价的预测、判断信用评价、电影票房预估等。

4. 损失函数（Loss Function）之均方误差（MSE）

• MSE(均方误差)
  1-英文名
    Mean Square Error
    又叫：二次损失
  2-概念
    均方误差，指模型预测值f(x)，与样本真实值y。之间的差值的平方的平均值 。
  3-公式
  $$MSE=\frac{1}{n}\sum _{i=1}^n(f(x_i)-y_i{)}^2$$
  n: 样本个数
  $y_i$: 真实值
  $f(x_i)$: 预测值

• 核心目标优化式
  1-概念
    求解最佳参数，需要一个标准来对结果进行衡量，为此我们需要定量化一个目标函数式，使得计算机可以在求解过程中不断地优化。
  2-推导
  将$$y=wx+b$$代入 $$MSE=\frac{1}{n}\sum _{i=1}^n(f(x_i)-y_i{)}^2$$
  得
  $$MSE(w,b)=\frac{1}{n}\sum _{i=1}^n(w{x}_i+b-y_i{)}^2$$
  最终，1/n不影响最小值，省略1/n，便于计算（这个公式很重要）
  得，平方损失函数（squared loss）
  $$L(w,b)=\sum _{i=1}^n(w{x}_i+b-y_i{)}^2$$
  任务是：求解最小化L时w和b的值。
  

5. 计算 w 和 b

5.1 方法一：最小二乘法（least square method）

核心：我们通过构建损失函数，来求解损失函数最小时的参数 w 和 b。

1-回顾
  中学有一种题，给你很多数据（组成表格），要你求解，缺失的部分或进行判断。我们就用到了最小二乘法。公式我们一般都是直接背下来直接用。例如：

直线
$$y=kx+b$$
$\hat{k}$
$$\hat{k}=\frac{{\sum }_{i=1}^n{x}_i{y}_i-n\bar{x}\bar{y}}{{\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2}$$

$\hat{b}$
$$\hat{b}=\bar{y}-\hat{k}\bar{x}$$

2-线性回归中计算w和b：求偏导
注意
$$(注意：\sum _{i=1}^n{x}_i=n\frac{{\sum }_{i=1}^n{x}_i}{n}=n\bar{x})$$

对$L(w,b)$求$w$的偏导。

$$\begin{array}{rl}L(w,b{)}_w^{\prime }& =\frac{\partial L}{\partial w}\\ & =\sum _{i=1}^n[(w{x}_i+b-y_i{)}^2{]}_w^{\prime }\\ & =2\sum _{i=1}^n(w{x}_i+b-y_i)\ast (x_{i}w+b-y_i{)}_w^{\prime }\\ & =2\sum _{i=1}^n(w{x}_i+b-y_i)\ast x_i\\ & =2[w\sum _{i=1}^n{x}_i^2+\sum _{i=1}^n{x}_i(b-y_i)]\\ & =2[w\sum _{i=1}^n{x}_i^2-\sum _{i=1}^n{x}_i(y_i-b)]\end{array}$$

对$L(w,b)$求b的偏导。

L ( w , b ) b ′ = ∂ L ∂ b = [ ∑ i = 1 n ( w x i + b − y i ) 2 ] b ′ = 2 ∑ i = 1 n ( w x i + b − y i ) ∗ ( ∑ i = 1 n x i w + b − ∑ i = 1 n y i ) b ′ = 2 ∑ i = 1 n ( w x i + b − y i ) = 2 [ n b − ∑ i = 1 n ( y i