机器学习进阶01：回归

1 使用极大似然估计解释最小二乘

2 损失函数解析解的推导

3 加入正则项防止过拟合

4 梯度下降算法

4.1 批量梯度下降

4.2 随机梯度下降

4.3 mini-batch梯度下降

5 判定系数R^2

最好的情况是y_hat = y_i，此时RSS = 0；若瞎预测，RSS可能大于TSS

6 局部加权线性回归

线性回归容易欠拟合，局部加权线性回归是在线性回归的基础上对每一个测试样本（训练的时候就是每一个训练样本）在其已有的样本进行一个加权拟合，权重的确定可以通过一个核来计算，常用的有高斯核（离测试样本越近，权重越大，反之越小），离我们要预测的点越近，权重越大（e^-x的特性决定），这样对每一个测试样本就得到了不一样的权重向量，所以最后得出的拟合曲线不再是线性的了，这样就增加的模型的复杂度来更好的拟合非线性数据。
损失函数：

局部加权线性回归算法做的是：



局部加权线性回归是我们接触的第一个 非参数（non-parametric） 算法。之前学习的（不带权）线性回归算法是有 参数（parametric） 算法，因为它有固定的有限数量的，能够很好拟合数据的参数（θ）。一旦我们拟合出 θ并存储了下来，也就不需要再保留训练数据样本来进行更进一步的预测了。相比而言，用局部加权线性回归做预测，我们需要保留整个的训练数据，每次预测得到不同的参数 θ，即参数不是固定的，高斯核函数里一直带着xi。术语 “非参数” 粗略意味着：我们需要保留用来代表假设 h的内容，随着训练集的规模变化是呈线性增长的