线性回归 最小二乘法求

• 回归是另一类重要的监督学习算法。与分类不同的是，回归问题的目标是通过对训练样本的学习，得到从样本特征到样本标签之间的映射，且样本标签是连续值。
• 线性回归的问题中，目标值与特征之间存在线性相关的关系
• 线性回归模型

  • 对于线性回归算法，希望从训练数据中学习到线性回归方程，即：$$y=b+\sum _{i=1}^n{w}_i{x}_i$$
    其中，b是偏置，$w_i$是回归系数，另$x_0=1$ 则回归方程为：$$y=\sum _{i=0}^n{w}_i{x}_i$$

• 损失函数

  线性回归的损失函数可以是绝对损失$d=|y-\hat{y}|$或者平方损失$d=(y-\hat{y}{)}^2$.

• 最小二乘法求解以及推导

  看了书上的矩阵方式，不太懂，就用一般的方式求吧。

  • 假设最终的直线方程为$y=ax+b$,存在一个数据集 { ( x 1 , y 1 ) , ( x 2 , y 2 , . . . . . . , ( x n , y n ) ) } \left \{ (x_{1},y_{1}),(x_{2},y_{2}, ......,(x_{n},y_{n}))\right \} { (x