Task 1 了解机器学习 Datawhale X 李宏毅苹果书 AI夏令营

机器学习概念

机器学习就是让机器具备找一个函数的能力。

根据机器学习要找的函数的不同，机器学习有不同的类别。

1，回归（Regression）：假设和要找的函数的输出是一个数值，一个标量scalar，这种机器学习的任务称为回归。

2，分类（classification）：分类任务要让机器做选择题。人类先准备好一些选项，这些选项称为类别（class），现在要找的函数的输出就是从设定好的选项里面选择一个当作输出，该任务称为分类。

3，结构化学习（structured learning）：机器不只是要做选择题或输出一个数字，而是产生一个有结构的物体。

机器学习的运行步骤

（以预测频道明日观看次数为例子）

第一个步骤

是写出一个带有未知参数的函数 f，其能预测未来观看次数。

y = b + wx1

其中y 是准备要预测的东西，x1是这个频道，前一天（2月25日）总共的观看次数，b 跟 w 是未知的参数，它是准备要通过数据去找出来的。对w和b的猜测往往来自于对这个问题本质上的了解，即领域知识（domain knowledge）。

  带有未知参数的函数称之为模型model。w称为权重（weight），b称为偏置（bias）。

第二个步骤

是定义损失（loss），损失也是一个函数function。

损失是函数 L(b, w)，其输入是模型参数 b 跟w。损失函数输出的值代表，现在如果把这一组未知的参数，设定某一个数值的时候，这笔数值好还是不好。

本例中，假设b为500，w为1。利用历史数据，计算出每日用公式计算出的播放量和实际的播放量之间的差值c，计算平均即可得到损失L。L 越大，代表现在这一组参数越不好，L 越小，代表现在这一组参数越好。

L有平均绝对误差（Mean Absolute Error，MAE）和均方误差（Mean Squared Error，MSE）两种。

根据不同的b和w，计算出对应的损失可汇出等高线图，称为误差表面。

第三个步骤

解一个最优化的问题。找一个 w 跟 b，把未知的参数找一个数值出来，看代哪一个数值进去可以让损失 L 的值最小，就是要找的 w 跟 b，这个可以让损失最小的w跟b称为w∗ 跟b∗ 代表它们是最好的一组w跟b，可以让损失的值最小。

最优化的方法：梯度下降（gradient descent）是经常会使用优化的方法。

初始值的地方进行算微分，就是左右环视，它会知道左边比较高还是右边比较高，看哪边比较低，它就往比较低的地方跨出一步。这一步的步伐的大小取决于两件事情：

• 第一件事情是这个地方的斜率，斜率大步伐就跨大一点，斜率小步伐就跨小一点。

• 另外，学习率（learning rate）η 也会影响步伐大小。学习率是自己设定的，如果 η 设大一点，每次参数更新就会量大，学习可能就比较快。如果 η 设小一点，参数更新就很慢，每次只会改变一点点参数的数值。这种在做机器学习，需要自己设定，不是机器自己找出来的，称为超参数（hyperparameter）。

右侧红点这个位置是真的可以让损失最小的地方，称为全局最小值（global minima），而 wT 这个地方称为局部最小值（local minima），其左右两边都比这个地方的损失还要高一点，但是它不是整个误差表面上面的最低点。

事实上局部最小值是一个假问题，在做梯度下降的时候，真正面对的难题不是局部最小值。同理可以推广到两个参数的情况。