深度学习入门#Datawhale X 李宏毅苹果书 AI夏令营

一、机器学习基础

  1.内涵

  机器学习就是让机器具备找一个函数的能力。

  2.类别

  回归：假设要找的函数的输出是一个数值，一个标量（scalar）

  分类（classification，）：分类任务要让机器做选择题。人类先准备好一些选项，这些选项称为类别（class），现在要找的函数的输出就是从设定好的选项里面选择一个当作输出，该任务称为分类。

  3.结构化学习

  机器不只是要做选择题或输出一个数字，而是产生一个有结构的物体，比如让机器画一张图，写一篇文章。这种叫机器产生有结构的东西的问题称为结构化学习。

二、案例分析

  机器学习找函数的过程，分成 3 个步骤。

  Step1.写出一个带有未知参数的函数 f，其能预测未来观看次数。

比如将函数写成

  b 跟 w 是未知的。带有未知的参数（parameter）的函数称为模型（model）。模型在机器学习里面，就是一个带有未知的参数的函数，特征（feature） x1 是这个函数里面已知的，它是来自于后台的信息，2 月 25 日点击的总次数是已知的，而 w 跟 b 是未知的参数。w 称为权重（weight），b 称为偏置（bias）。

  Step2.定义损失函数

  损失是函数 L(b, w)，其输入是模型参数 b 跟w。损失函数输出的值代表，现在如果把这一组未知的参数，设定某一个数值的时候，这笔数值好还是不好。这还是一般般地简单损失函数。当牵扯到网络架构模型时候，它也起着很重要的作用。比如扩散模型的损失函数的构造。

简而言之，在机器学习中，损失函数（Loss Function）是一个至关重要的概念，它衡量了模型预测值与实际值之间的差异程度。这个差异度被用作模型优化过程中的关键指标，通过最小化损失函数来寻找最优的模型参数，从而使模型的预测能力尽可能接近真实情况。

   Step3.解一个最优化的问题。

  找一个 w 跟 b，把未知的参数找一个数值出来，看代哪一个数值进去可以让损失 L 的值最小，就是要找的 w 跟 b，这个可以让损失最小的 w 跟 b 称为 w∗ 跟 b∗ 代表它们是最好的一组 w 跟 b，可以让损失的值最小。梯度下降（gradient descent）是经常会使用优化的方法。它是机器学习中广泛使用的优化技术之一，对于线性回归、逻辑回归、神经网络等多种模型都适用。以下是梯度算法的步骤。

  Step1.初始化参数

  首先，随机选择或根据某种策略初始化模型的参数（如 w 和 b）。

  Step2.计算梯度

  对于当前的参数值，计算损失函数关于这些参数的梯度。梯度表示了损失函数在参数空间中最陡峭上升的方向，因此负梯度方向则是损失函数最陡峭下降的方向。

  Step3.更新参数

  根据学习率（一个超参数，决定了参数更新的步长）和梯度的乘积来更新参数。这一步旨在沿着损失函数最陡峭下降的方向移动参数，从而减少损失函数的值。

  Step4.重复迭代

  重复步骤2和步骤3，直到满足某个停止条件（如损失函数值低于某个阈值、参数更新量非常小或达到预设的迭代次数）。