李宏毅机器学习（3,4）

记录学习李宏毅机器学习的过程，方便知识点的梳理。

文章目录

前言

一、回归

1.1 定义

1.2应用举例

1.3模型步骤

总结

---

前言

参考资料：LeeML-Notes

李宏毅《机器学习/深度学习》2021课程（国语版本，已授权）_哔哩哔哩_bilibili

记录学习李宏毅机器学习的过程，方便知识点的梳理。

---

一、回归

1.1 定义

找到一个函数，通过输入特征，输出一个数值

1.2应用举例

股市预测、自动驾驶、商品推荐、宝可梦攻击力预测等

1.3模型步骤

1.模型假设（线性模型）

1>一元线性模型（单个特征）

一个特征X,w与b变化，可以猜测很多模型

模型假设：y=b+w*x

2>多元线性模型（多个特征）

x:特征

w:权重

b:偏移量

2.模型评估（损失函数）Loss Function

1>单个特征

使用损失函数衡量模型的好坏

损失函数：

 

3.模型优化（梯度下降）

学习率 ：移动的步长，如图7中 \etaη

• 步骤1：随机选取一个 w^0
• 步骤2：计算微分，也就是当前的斜率，根据斜率来判定移动的方向
  • 大于0向右移动（增加w）
  • 小于0向左移动（减少w）
• 步骤3：根据学习率移动
• 重复步骤2和步骤3，直到找到最低点

解释完单个模型参数w，引入2个模型参数 w 和 b ， 其实过程是类似的，需要做的是偏微分

梯度下降算法在现实世界中面临的挑战

• 问题1：当前最优（Stuck at local minima）
• 问题2：等于0（Stuck at saddle point）
• 问题3：趋近于0（Very slow at the plateau）

如何验证训练好的模型的好坏

使用训练集和测试集的平均误差来验证模型的好坏

使用1元2次方程，其实还是线性模型，只是向量化了

过拟合问题：在训练集上面表现更为优秀的模型，为什么在测试集上效果反而变差

步骤优化：

将 4个线性模型 合并到一个线性模型中

更多参数/特征/输入：在最开始我们有很多特征，图形化分析特征，将血量（HP）、重量（Weight）、高度（Height）也加入到模型中

正则化

 

---

总结

对回归的定义应用以及模型的选择建立以及优化，出现过拟合问题如何解决进行了简单的学习，建议和我一样的初学者可以结合吴恩达老师的课程一起学习，对于知识点的理解将会更加透彻。