机器学习（十五）回归算法之线性回归

线性回归

线性回归的原理

什么是线性回归

• 1）定义与公式
  线性回归(Linear regression)是利用**回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)**之间关系进行建模的一种分析方式。

  • 特点：只有一个自变量的情况称为单变量回归，多于一个自变量情况的叫做多元回归
    
    那么怎么理解呢？我们来看几个例子
    • 期末成绩：0.7×考试成绩+0.3×平时成绩
    • 房子价格 = 0.02×中心区域的距离 + 0.04×城市一氧化氮浓度 + (-0.12×自住房平均房价) + 0.254×城镇犯罪率
      上面两个例子，我们看到特征值与目标值之间建立了一个关系，这个关系可以理解为线性模型。

• 2） 线性回归的特征与目标的关系分析
  线性回归当中线性模型有两种，一种是线性关系，另一种是非线性关系。在这里我们只能画一个平面更好去理解，所以都用单个特征或两个特征举例子。

  • 线性关系
    
    
    注释：单特征与目标值的关系呈直线关系，或者两个特征与目标值呈现平面的关系
    更高维度的我们不用自己去想，记住这种关系即可
  • 非线性关系
    
    注释：为什么会这样的关系呢？原因是什么？
    如果是非线性关系，那么回归方程可以理解为：
    • 指数函数：
      $y=a^x$(a为常数且以a>0，a≠1)
    • 对数函数：
      $y=lo{g}_{a}x$（a>0，且a≠1）
    • 幂函数：
      $f(x)=x^a$(a为有理数)
    • 多项式函数：
      f ( x ) = a n ⋅ x n + a n − 1