一、机器学习基础
1.内涵
机器学习就是让机器具备找一个函数的能力。
2.类别
回归:假设要找的函数的输出是一个数值,一个标量(scalar)
分类(classification,):分类任务要让机器做选择题。人类先准备好一些选项,这些选项称为类别(class),现在要找的函数的输出就是从设定好的选项里面选择一个当作输出,该任务称为分类。
3.结构化学习
机器不只是要做选择题或输出一个数字,而是产生一个有结构的物体,比如让机器画一张图,写一篇文章。这种叫机器产生有结构的东西的问题称为结构化学习。
二、案例分析
机器学习找函数的过程,分成 3 个步骤。
Step1.写出一个带有未知参数的函数 f,其能预测未来观看次数。
比如将函数写成
b 跟 w 是未知的。带有未知的参数(parameter)的函数称为模型(model)。模型在机器学习里面,就是一个带有未知的参数的函数,特征(feature) x1 是这个函数里面已知的,它是来自于后台的信息,2 月 25 日点击的总次数是已知的,而 w 跟 b 是未知的参数。w 称为权重(weight),b 称为偏置(bias)。
Step2.定义损失函数
损失是函数 L(b, w),其输入是模型参数 b 跟w。损失函数输出的值代表,现在如果把这一组未知的参数,设定某一个数值的时候,这笔数值好还是不好。这还是一般般地简单损失函数。当牵扯到网络架构模型时候,它也起着很重要的作用。比如扩散模型的损失函数的构造。
简而言之,在机器学习中,损失函数(Loss Function)是一个至关重要的概念,它衡量了模型预测值与实际值之间的差异程度。这个差异度被用作模型优化过程中的关键指标,通过最小化损失函数来寻找最优的模型参数,从而使模型的预测能力尽可能接近真实情况。
Step3.解一个最优化的问题。
找一个 w 跟 b,把未知的参数找一个数值出来,看代哪一个数值进去可以让损失 L 的值最小,就是要找的 w 跟 b,这个可以让损失最小的 w 跟 b 称为 w∗ 跟 b∗ 代表它们是最好的一组 w 跟 b,可以让损失的值最小。梯度下降(gradient descent)是经常会使用优化的方法。它是机器学习中广泛使用的优化技术之一,对于线性回归、逻辑回归、神经网络等多种模型都适用。以下是梯度算法的步骤。
Step1.初始化参数
首先,随机选择或根据某种策略初始化模型的参数(如 w 和 b)。
Step2.计算梯度
对于当前的参数值,计算损失函数关于这些参数的梯度。梯度表示了损失函数在参数空间中最陡峭上升的方向,因此负梯度方向则是损失函数最陡峭下降的方向。
Step3.更新参数
根据学习率(一个超参数,决定了参数更新的步长)和梯度的乘积来更新参数。这一步旨在沿着损失函数最陡峭下降的方向移动参数,从而减少损失函数的值。
Step4.重复迭代
重复步骤2和步骤3,直到满足某个停止条件(如损失函数值低于某个阈值、参数更新量非常小或达到预设的迭代次数)。