Datawhale X 李宏毅苹果书 AI夏令营 第一章 机器学习基础笔记

机器学习的概念

        机器学习简单来讲就是让机器具备找一个函数的能力。我们也把具有未知数的函数称为模型。首先根据要找的函数类别不同可以把机器学习任务分为回归、分类和结构化学习三种。

1.        回归任务就是输入一系列参数（多为数字与字符）让机器找到最适合的模型并输出结果。 举个回归的例子，假设机器要预测未来某一个时间的 PM2.5 的数值。机器要找一个函数 f，其输入是可能是种种跟预测 PM2.5 有关的指数，包括今天的 PM2.5 的数值、平均温度、平均的臭氧浓度等等，输出是明天中午的 PM2.5的数值，找这个函数的任务称为回归。
2.         分类任务就是在给定的选项之间让机器选择。人为准备好的选项称为类别，从设定好的选项里面选择一个当作输出，该任务称为分类。举个例子，每个人都有邮箱账户，邮箱账户里面有一个函数，该函数可以检测一封邮件是否为垃圾邮件。分类不一定只有两个选项，也可以有多个选项；AlphaGo 也是一个分类的问题，如果让机器下围棋，AlphaGo给出的选项与棋盘的位置有关。棋盘上有 19 × 19 个位置，机器下围棋其实是一个有 19 × 19 个选项的选择题。机器找一个函数，该函数的输入是棋盘上黑子跟白子的位置，输出就是从 19×19 个选项里面，选出一个正确的选项，从 19 × 19 个可以落子的位置里面，选出下一步应该要落子的位置。
3.         在机器学习领域里面，除了回归跟分类以外，还有结构化学习。机器不只是要做选择题或输出一个数字，而是产生一个有结构的物体，比如一张图片、一篇文章或者一段合成声音。让机器产生有结构的结果称之为结构化学习。

机器学习的一个示例&术语讲解

        硬讲定义未免有些抽象，我们来看一个示例：我们想让机器生成中国人均寿命在未来50年内变化的函数。那么机器寻找这个函数分为三过程——生成函数，定义损失和解最优化。

一、生成模型对应函数

        首先根据问题人为给出一个贴合答案的数学模型，这里给出线性增长的模型其中y是要预测的值，比如今年的人均寿命，x是已知的数值，比如去年的人均寿命。b和w都是要让机器找的未知的参数。我们说的模型其实就是带有未知参数的函数。其中b这种叫做偏置，w叫做权重。

二、定义损失

        第 2 个步骤是定义损失，损失也是一个函数。这个函数的输入是模型里面的参数，我们这里也给它模型是  ，模型里b与w对我们来讲也是未知的，损失是函数 L(b, w)，输出的值代表如果把这一组未知的参数，设定某一个数值的时候数值的准确性。举一个具体的例子，假设未知的参数的设定是 b = 500，w = 1.1，预测未来的观看次数的函数就变成y=500+1.1x1。要从训练数据来进行计算损失，在这个问题里面，训练数据是我国往年的人均寿命的值。

        用哪种方式衡量误差程度呢？一般我们可用平均绝对误差、均方误差或者交叉熵等等来预测。但不管采用何种数学公式，最后我们根据损失函数都可以画出误差随参数变化的图，这类等高线图维度由参数数量决定称为误差表面。

三、解最优化问题

        解一个最优化的问题。找一个w跟b，把未知的参数找一个数值出来，看代哪一个数值进去可以让损失 L 的值最小，就是要找的w跟b，这个可以让损失最小的w跟b称为w*跟b*，代表它们是最好的一组w跟b，可以让损失的值最小。其中梯度下降是经常会使用优化的方法。

        梯度下降有一个问题，这种方法对起点的要求比较苛刻，很多时候会卡在局部最小值而非全局最小值，因此有人讲到梯度下降不是个好方法，无法真的找到全局最小值。事实上局部最小值是一个假问题，在做梯度下降的时候，真正面对的难题不是局部最小值，而是鞍点问题欠拟合过拟合等，这些在深度学习篇会重点讲述。