预测算法-线性回归（鲍鱼年龄预测）

预测算法-线性回归

面对可逆矩阵

线性回归(模型，策略，算法)
模型: $h(x) = W^T x + b$
损失函数: $J_{(\theta)} = \sum\limits{i=1}^{N}(f(x_i)-y_i)^2$
目标函数为:$\min J_{(\theta)} = \sum\limits{i=1}^{N}(f(x_i)-y_i)^2$

方法1：梯度下降法
$\theta = \theta - \alpha \bigtriangledown J_{(\theta)}$
$\alpha:学习速率$
$\bigtriangledown J_{(\theta)}:偏导数 学习的方向$

方法2：标准方程法
目标函数为: $\min J_{(\theta)} = \sum\limits{i=1}^{N}(f(x_i)-y_i)^2$
转化为:$(y_i - x_i^T w)^T (y_i-x_i^T w)$
$对w求导:\hat w = (x^Tx)^{-1}x^Ty$

$x^Tx$的行列式不为0时,存在逆矩阵 那么条件成立, 才能计算 w^模