李宏毅机器学习-回归

回归：Regression 就是找到一个函数 function ，通过输入特征x，输出一个数值Scalar。

模型步骤

线性模型

$$y=b+\sum w_i{x}_i$$

判断模型的好坏

因为会得到一堆模型，怎么来判断模型的好坏呢，可以在定义一个损失函数

挑选最好的function

可以用到梯度下降
首先随机选取一个w之后计算梯度值，对w,b进行更新

当参数有多个的时候

在线性回归中，其实在线性模型里面都是一个碗的形状（山谷形状），是没有local optimal的，其他模型中可能会遇到梯度为0或者趋近于0的情况，这个需要注意

• 梯度下降计算
  

一元n次模型

可以加入二次项或者n次项来检验模型的好坏

过拟合

当上述n越大的时候，test error会越大

优化

重新设计Model

找一下隐藏的参数


我们也可以图形化分析特征，将血量（HP）、重量（Weight）、高度（Height）也加入到模型中或者自加入高次项

• 正则化
  
  这样的情况下，w越小，函数会越平滑，当输入值变化不大的时候，输出值变化也会很小
  还要注意在很多应用场景中，并不是 w 越小模型越平滑越好，但是经验值告诉我们 w 越小大部分情况下都是好的（比如测试数据有噪声的时候，受干扰情况会较小）。b 的值接近于0 ，对曲线平滑是没有影响