第一篇献给Datawhale

写今天的学习笔记之前，我要好好表达对Datawhale的感谢。

记不清这是第几次跟着组织学习了。虽然也只是从懵懂小白0.1到萌萌小白0.2，虽然很多词汇还都不懂，但没有Datawhale的学习氛围和小伙伴的积极表现，我的这一点点进步也可能不会有。

正文开始：

各种词汇定义：

模型（model）== 带有未知的参数（parameter）的函数， 比如y = b + w ∗ x

特征（feature）== 函数里面已知x

权重 （weight）== x乘以的参数w （对x的直接影响力/关联度？）

偏置（bias）== 函数里面附加的b （对关联度的修正）

损失（loss）== 也是一个函数 L(b, w)，其输入是模型参数 b跟w （ 把每一个误差通通加起来取得平均，得到损失L）

标签（label）== 真实的值

助力理解的概念：

机器学习就是让机器具备找一个函数的能力。

机器学习包括回归regression，分类classification，和结构化学习structured learning。

回归：要找的函数的输出是一个数值，一个标量（scalar）

分类：要找的函数的输出就是从设定好的选项（class）里面选择一个当作输出

结构化学习：机器不只是要做选择题或输出一个数字，而是产生一个有结构的物体。这种叫机器产生有结构的东西的学习

其他知识点：

估测的值跟实际的值之间的差距，其实有不同的计算方法，包括平均绝对误差（Mean Absolute Error，MAE），均方误差（Mean SquaredError，MSE），交叉熵（cross entropy）（y 和 yˆ 都是概率分布的时候）。

试验不同的参数，计算它的损失，画出来的等高线图称为误差表面（error surface）。

w*，b* == 使得loss的值最小

“算微分就是左右环视，它会知道左边比较高还是右边比较高，看哪边比较低，它就往比较低的地方跨出一步。“

斜率：大，就是步伐跨大一点；小，就是步伐跨小一点；正：就是右边比左边大；负，就是左边比右边大。

学习率（learning rate）η 也会影响步伐大小。学习率是自己设定的，如果 η 设大一点，每次参数更新就会量大，学习可能就比较快。如果 η 设小一点，参数更新就很慢，每次只会改变一点点参数的数值。

这种在做机器学习，需要人设定，不是机器自己找出来的参数，称为超参数（hyperparameter）。更新次数是一个超参数，因为是人定的。

梯度下降有一个很大的问题：没有找到真正最好的解，没有找到可以让损失最小的 w。取决于起始点。它最后只能找到一个 全局最小值（global minima）。无法真的找到全局最小值。