Datawhale X 李宏毅苹果书AI夏令营 Task 1

一、什么是机器学习

机器学习就是让机器具备找一个函数的能力。后续可以完成很多不同任务，比如回归分类等，以及更有创造力的结构化学习，即机器不只是要做选择题或输出一个数字，而是产生一个有结构的物体，比如让机器画一张图，写一篇文章。

二、机器学习求解函数三步骤

1.写出一个带有未知参数的函数 f，称为model，比如含有可训练参数 b 跟 w。

2.定义损失（loss），损失是函数 L(b, w)，其输入是模型参数 b 跟 w。损失函数输出的值代表在当前参数 b 和 w 选取的值下，函数 f 预测结果的好坏即与真实label的差异，用于指导model训练学习。

3.解一个优化的问题，即找出一组最优的 w 跟 b，使得数值代进去可以让损失 L 的值最小。深度学习目前使用梯度下降的方式，即以梯度反方向更新参数，而其大小由梯度大小以及学习率共同决定

*补充一下已经遗忘了的数学知识：导数是单变量函数瞬时变化率（有大小无方向）；偏导数是多变量函数中固定其他变量对某一变量的导数（有大小无方向）；微分是函数某点的变化量；梯度是多变量函数所有偏导数组成的向量（有大小有方向）

*梯度下降的理解：给定一组参数，得到此处loss对其的微分得到梯度，梯度代表了函数整体增长最快的方向和速率，但我们是为了让loss变小，所以要逆着梯度方向去更新参数 这也是为什么叫做梯度下降 在更新时有“负号”

*梯度下降的难点并不是在局部最小值，而是你在过拟合欠拟合梯度消失等 ps 后面学习更深刻理解了再来补充！