Datawhale X 李宏毅苹果书 AI夏令营 入门班Task1

第一步：模型

函数：

带有未知的参数（parameter）的函数称为模型（model）

称为权重（weight），b 称为偏置（bias）

第二步：损失

损失是函数 L(b, )，其输入是模型参数 b 跟；输出的值代表，现在如果把这一组未知的参数，设定某一个数值的时候，这笔数值好还是不好，输出值越接近0越好。

梯度下降（gradient descent）是经常会使用优化的方法。为了要简化起见，先假设只有一个未知的参数，b 是已知的。计算初始点的微分，根据微分正负决定方向，根据下面两点决定步伐大小。

1. 第一件是这个地方的斜率，斜率大步伐就跨大一点，斜率小步伐就跨小一点。

2. 另外，学习率（learning rate）η 也会影响步伐大小。学习率是自己设定的，如果 η 设大一点，每次参数更新就会量大，学习可能就比较快。如果 η 设小一点，参数更新就很慢，每次只会改变一点点参数的数值。这种在做机器学习，需要自己设定，不是机器自己找出来的，称为超参数（hyperparameter）。

第三步：优化

不断地移动 w 的位置，最后会停下来。往往有两种情况会停下来。

1. 第一种情况是一开始会设定说，在调整参数的时候，在计算微分的时候，次数达到设置的上限，就不再更新了，更新次数也是一个超参数。

2. 还有另外一种理想上的，停下来的可能是，当不断调整参数，调整到一个地方，它的微分的值就是这一项，算出来正好是 0 的时候