Datawhale X 李宏毅苹果书 AI夏令营第五期 task01

本方向的核心学习目标是——通过《深度学习详解》和 李宏毅老师 21年的机器学习课程视频，入门机器学习，并尝试学习深度学习，展开代码实践（选修）

《深度学习详解》主要内容源于《机器学习》（2021年春），选取了《机器学习》（2017年春） 的部分内容，在这些基础上进行了一定的原创，补充了不少除这门公开课之外的深度学习相关知识。

为了尽可能地降低阅读门槛，笔者对这门公开课的精华内容进行选取并优化，对所涉及的公式都给出详细的推导过程，对较难理解的知识点进行了重点讲解和强化，以方便读者较为轻松地入门。

在理论严谨的基础上，本书保留了公开课中大量生动有趣的例子，帮助读者从生活化的角度理解深度学习的概念、建模过程和核心算法细节，包括——

• 卷积神经网络、Transformer、生成模型、自监督学习（包括 BERT 和 GPT）等深度学习常见算法，

• 对抗攻击、领域自适应、强化学习、元学习、终身学习、网络压缩等深度学习相关进阶算法。

开源教程还获得了李宏毅老师的推荐~

链接指路：https://github.com/datawhalechina/leedl-tutorial

一、机器学习概念

  机器学习，顾名思义，机器具备有学习的能力。具体来讲，机器学习就是让机器具备找一个函数的能力。机器具备找函数的能力以后，它可以做很多事。比如语音识别，机器听一段声音，产生这段声音对应的文字。我们需要的是一个函数，该函数的输入是声音信号，输出是这段声音信号的内容。这个函数显然非常复杂，人类难以把它写出来，因此想通过机器的力量把这个函数自动找出来。还有好多的任务需要找一个很复杂的函数，以图像识别为例，图像识别函数的输入是一张图片，输出是这个图片里面的内容。AlphaGo 也可以看作是一个函数，机器下围棋需要的就是一个函数，该函数的输入是棋盘上黑子跟白子的位置，输出是机器下一步应该落子的位置。

二、机器学习类别

  回归(regression)：要找的函数的输出是一个数值，一个标量(scalar)；举个回归的例子，假设机器要预测未来某一个时间的 PM2.5 的数值。机器要找一个函数 f，其输入是可能是种种跟预测 PM2.5 有关的指数，包括今天的 PM2.5 的数值、平均温度、平均的臭氧浓度等等，输出是明天中午的 PM2.5的数值
  分类(classification):从设定好的函数里面选择一个当作输出；举个例子，每个人都有邮箱账户，邮箱账户里面有一个函数，该函数可以检测一封邮件是否为垃圾邮件。分类不一定只有两个选项，也可以有多个选项。
  结构化学习(structured learning): 让机器产生有结构的东西的东西。机器不只是要做选择题或输出一个数字，而是产生一个有结构的物体，比如让机器画一张图，写一篇文章。

三、机器找函数的过程

1.写出一个带有一个带有未知参数的函数f，其能预测未来观看次数；y = b + w ∗ x1，而 b 跟 w 是未知的。带有未知的参数（parameter）的函数称为模型（model）。模型在机器学习里面，就是一个带有未知的参数的函数，特征（feature） x1 是这个函数里面已知的，它是来自于后台的信息，2 月 25 日点击的总次数是已知的，而 w 跟 b 是未知的参数。w 称为权重（weight），b 称为偏置（bias）。

2.定义损失（loss），损失也是一个函数；模型是 y = b + w ∗ x1，而 b 跟 w 是未知的，损失是函数 L(b, w)，其输入是模型参数 b 跟w。损失函数输出的值代表，现在如果把这一组未知的参数，设定某一个数值的时候，这笔数值好还是不好。

平均绝对误差（Mean Absolute Error，MAE） e = |yˆ − y|

均方误差（Mean Squared Error，MSE）e = (ˆy  − y)2

3.解一个最优化的问题。找一个 w 跟 b，把未知的参数找一个数值出来，看代哪一个数值进去可以让损失 L 的值最小，就是要找的 w 跟 b，这个可以让损失最小的 w 跟 b 称为 w∗ 跟 b∗ 代表它们是最好的一组 w 跟 b，可以让损失的值最小。

四、梯度下降（gradient descent）

是经常会使用优化的方法。Q: 为什么损失可以是负的?

A: 损失函数是自己定义的，在刚才定义里面，损失就是估测的值跟正确的值的绝对值。如果根据刚才损失的定义，它不可能是负的。但是损失函数是自己决定的，比如设置一个损失函数为绝对值再减 100，其可能就有负的。这个曲线并不是一个真实的损失，并不是一个真实任务的误差表面。因此这个损失的曲线可以是任何形状。

梯度下降有一个很大的问题，没有找到真正最好的解，没有找到可以让损失最小的 w。

我们看看梯度下降如何进行优化

五、线性模型（Linear Model）

  线性模型是一种广泛应用于统计学和机器学习中的模型，其基本假设是因变量与自变量之间存在线性关系。这种模型通常可以用一组线性方程来描述，并且可以通过最小化误差来确定模型的参数。线性模型的应用范围广泛，包括回归分析、分类问题、时间序列分析等。