09 线性回归及矩阵运算

09 线性回归及矩阵运算

线性回归

1. 定义：通过一个或者多个自变量与因变量之间进行建模的回归分析。其中可以为一个或者多个自变量之间的线性组合。

2. 一元线性回归：涉及到的变量只有一个
   多元线性回归：变量两个或以上

3. 通用公式：h(w) = w0 + w1x1 + w2x2 + ....= wTx
   其中w,x 为矩阵：wT=(w0, w1, w2) x=（1，x1, x2)T

回归的应用场景 （连续型数据）

1. 房价预测
2. 销售额预测 （广告，研发成本，规模等因素）
3. 贷款额度

线性关系模型

1. 定义： 通过属性 (特征) 的线性组合来进行预测的函数：
   • f(x) = w1x1 + w2x2 + w3x3 + ...... + wdxd + b
   • w : weight (权重） b: bias (偏置项）
   • 多个特征： (w1:房子的面积， w2:房子的位置 ..)

损失函数（误差）

1. 《统计学习方法》 - 算法 ，策略， 优化

• 线性回归， 最小二乘法，正规方程 & 梯度下降

1. 损失函数（误差大小）

• yi 为第i个训练样本的真实值
• hw(xi)为第i个训练样本特征值组合预测函数 （预测值）
  

1. 寻找最优化的w
   1. 最小二乘法之正规方程 （直接求解到最小值，特征复杂时可能没办法求解）
      • 求解：w= (xTx）-1 xTy
      • X 为特征值矩阵，y为目标值矩阵
        
      • 缺点: 特征过于复杂时，求解速度慢
        

   2. 最小二乘法之梯度下降
      

      • 使用场景：面对训练数据规模庞大的任务
      • 超参数：a