线性回归公式推导

线性回归

• 机器学习的有监督算法分为分类和回归两种。
  • 回归：通过输入的数据，预测出一个值，如银行贷款，预测银行给你贷多少钱。
  • 分类：通过输入的数据，得到类别。如，根据输入的数据，银行判断是否给你贷款。

1. 举个例子

工资	年龄	额度
4000	25	20000
8000	30	70000
5000	28	35000
7500	33	50000
12000	40	85000

• 数据：工资和年龄（2个特征）
• 目标：预测银行会贷多少钱（标签）
• 考虑：工资和年龄都会影响最终的贷款的额度，那么他们各自有多大的影响呢？（参数/权重）
  
• 通俗的解释，x1,x2就是我们的两个特征（年龄和工资），Y是银行最终会借给我们多少钱，找到最合适的一条线（或一个面）来最好的拟合我们的数据点。
• 数学上表示：

  • 假设$ \theta$1是年龄的参数，$\theta$2是工资的参数。拟合的平面为：

  • 整合：当有n个特征的时候，默认x0=1。

    

  • 误差

    • 真实值和预测值之间肯定是存在差异的（用$ \varepsilon$表示）
    • 对于每个样本：
    • 误差是独立并且具有相同的分布，且服从均值为0，方差为$ \theta^2$的高斯分布。
      • 独立：张三和李四来贷款，他们之间没有关系，分别进行评估，不会因为给张三的少了，就给李四的多。
      • 同分布：他俩来的是同一个银行。
      • 高斯分布：银行可能多给，也可能少给，但是绝大多数情况下，这个浮动不会太大，极小的情况下浮动会比较大，符合正常情况。
    • 预测值与误差：
    • 误差服从高斯分布：
    • 整合之后：
    • 似然函数：
    • 对数似然：
      • 乘法难解，加法比较容易，对数里面乘法可以转换为加法。
    • 展开化简：
    • 目标：让似然函数越大越好
    • 目标函数：
    • 求偏导：
      • 矩阵求偏导公式：A’代表A的转置
        • Y = A * X --> DY/DX = A’
        • Y = X’ * A --> DY/DX = A
        • Y = X’ * A * X --> DY/DX = 2AX
        • Y = A’ * X * B --> DY/DX = A * B’
        • Y = A’ * X’ * B --> DY/DX = B * A’
    • 偏导等于0：