Datawhale X 李宏毅苹果书 AI夏令营 - 跟李宏毅学深度学习(入门)

《深度学习详解》主要内容源于《机器学习》（2021年春），选取了《机器学习》（2017年春） 的部分内容，在这些基础上进行了一定的原创，补充了不少除这门公开课之外的深度学习相关知识。

为了尽可能地降低阅读门槛，笔者对这门公开课的精华内容进行选取并优化，对所涉及的公式都给出详细的推导过程，对较难理解的知识点进行了重点讲解和强化，以方便读者较为轻松地入门。

在理论严谨的基础上，本书保留了公开课中大量生动有趣的例子，帮助读者从生活化的角度理解深度学习的概念、建模过程和核心算法细节，包括——

• 卷积神经网络、Transformer、生成模型、自监督学习（包括 BERT 和 GPT）等深度学习常见算法，
• 对抗攻击、领域自适应、强化学习、元学习、终身学习、网络压缩等深度学习相关进阶算法。

开源教程还获得了李宏毅老师的推荐~
链接指路：https://github.com/datawhalechina/leedl-tutorial（欢迎大家star~）

1、机器学习基础

	机器学习：让机器具备去寻找一个函数一个方法的概念。
	-- 机器学习存在不同的类别：回归、分类、结构化学习
	回归：如果机器学习要找的函数是一个数值、一个标量(scalar)， 这种学习的任务称为回归。
	分类：分类是让机器做选择题。人们设置好选项，让机器选择一个选项，对应的选项称之为类别，需要找的函数存在于设定好的分类中，这种任务
	称为分类。
	结构化学习：机器不仅仅只需要输出一个数值或选择一个类别，而是输出一个结构体，如：图像、文章等，这种任务称之为结构化学习。

案例分析

案例：通过已知的数据集来预测未来某个时间点的数据 ---- 预测明天视频点赞数（已知：过去每天的点赞数、浏览数、订阅数）

y = b + wx1

机器学习分三步分析：
1、写一个带有未知参数的函数；
2、定义因不确定因素造成的损失，可预测这个损失也是一个函数；
3、找出一个最优化的参数。使用梯度下降确定优化的方法。

y = b + wx1
模型：带有未知参数的函数；
特征：带有未知参数的函数中已知的信息参数(x1)；
权重：w称之为权重；
偏置：b称之为偏置；

估测的值y与实际值y间的差距，根据不同的算法，分为：平均绝对误差(MAE) 和 均方误差(MSE)。

交叉熵：一些任务中的 估测的值y与实际值y 是概率分布存在的， 此时会选择 交叉熵。
误差表面：调试不同参数计算损失所画出来的等高线，称之为误差表面。

内容分析

机器学习找函数的过程，分成 3 个步骤。第一个步骤是写出一个带有未知参数的函数 f，其能预测未来观看次数。比如将函数写成

  									y = b + wx1 

其中，y 是准备要预测的东西，要预测的是今天（2 月 26 日）这个频道总共观看的人，y 就假设是今天总共的观看次数。 x1是这个频道，前一天（2 月 25 日）总共的观看次数，y 跟 x1 都是数值，b 跟 w 是未知的参数，它是准备要通过数据去找出来的，
w 跟 b 是未知的，只是隐约地猜测。猜测往往来自于对这