Datawhale X 李宏毅苹果书 AI夏令营

• 第一章  机器学习基础

一、基本概念

机器学习：我们可以将许多事项抽象为一个函数，机器学习就是让机器具备找到这个函数的能力。

回归：通过寻找和改进函数逐步逼近最佳拟合的数值的过程。

分类：在数据库中训练算法，以预测新的数据类别。

结构化学习：机器不仅要输出一个数值或者做选择题，还需要产生一个结构化的结果。

二、机器学习运作过程

  1.假设一个带有未知数的方程，我们将含有未知参数的函数称为模型(model)

     如：y=ωx+b

   其中， ω称为权重(weight)

               b称为偏置(bias)

  2.定义损失(loss)

       损失可以帮助我们判断当前模型中的数值好还是不好，记为L(b, ω)。损失计算方法比较多可以取模型估测值和真实值差的绝对值，也可以计算二者差的平方，我们将每组数据的损失加起来取平均可得到损失L。

       通过调整不同参数与真实数据做对比我们可以得到一个可视化的误差表面。下图为有两个未知变量的二维误差表面。

   

  3.模型优化

    一般采用最为常用的梯度下降方法

       假设我们的模型只有一个未知数ω，先选取一处数据对损失L进行微分，计算这处数据的斜率；若斜率为负，将ω变大，损失则变小；若斜率为正，将ω变小，损失则变小。

       学习率：我们可以通过自行设定数据的间隔，大一点则参数更新就会量大，学习就会快一些。

这种需要自己设定而不是机器自己找出来的参数称为超参数

       具体优化方法：

      我们反复执行上述操作最终可得到损失最小的ω，但同时这个最小也有可能是局部最小，如下图为拥有一个未知变量的一维误差图，ωT虽然是两则曲线的最低点但他仍然不是整体最小值。

同理，在拥有两个未知参数的模型中。我们对其两个未知参数求偏微分分别进行计算：

所得误差图如下图所示。