Datawhale X 李宏毅苹果书AI夏令营 深度学习入门 Task1 学习笔记

1. 机器学习与深度学习的基本概念

机器学习（Machine Learning）：让机器通过数据找到某个函数，完成预测或决策任务。例如，语音识别系统根据声音信号生成对应文字，背后需要的就是一个复杂的函数。

深度学习（Deep Learning）：是机器学习的一个分支，主要依赖于神经网络，能够处理更复杂的任务。

2. 机器学习的常见任务

机器学习可以根据任务类型分为几种类别：

2.1 回归(Regression)

回归任务的目标是找到一个输出为数值的函数。例如预测未来某天的空气质量（PM2.5）的数值，输入为当前的相关环境指标（如温度、污染物浓度等），输出是未来某个时间点的PM2.5数值。

2.2 分类(Classification)

分类任务是让机器从预设好的类别中选择一个作为输出。例如垃圾邮件分类器，输入为一封邮件，输出为“垃圾邮件”或“正常邮件”。

2.3 结构化学习(Structured Learning)

机器输出的结果不仅仅是一个数值或类别，而是一个复杂的结构。例如让机器写文章或生成图像。

3. 案例学习(Case Study)：视频点击次数预测

以预测某视频频道的点击量为例，介绍机器学习的具体运作过程：

3.1 模型建立

假设我们要预测某视频频道明天的观看次数。可以定义一个简单的线性模型：

𝑦=𝑏+𝑤𝑥1

其中，

𝑦是预测的观看次数

𝑥1是当天的观看次数

𝑤和𝑏是未知参数，称为权重和偏置，需要通过现有数据供给进行学习。

3.2 损失函数（Loss Function）

模型预测出的结果与实际观察值之间的差距称为误差。我们使用损失函数来衡量模型预测的好坏。常见的损失函数有：

平均绝对误差（MAE）:

对所有误差给予同等权重，误差为正或负并不影响结果。它对离群值的敏感度较低，因为它只考虑误差的绝对值，不会放大大的误差。

均方误差（MSE）:

对较大的误差更加敏感，因为平方会放大误差的影响。

3.3 参数优化：梯度下降法

梯度下降是一种通过不断调整模型参数（如𝑤和𝑏）以最小化损失函数的方法。

首先，随机选择参数初始值，然后通过计算损失函数的梯度，逐步调整参数，直到找到使损失最小的参数值。

3.4 局部最小值与全局最小值

在使用梯度下降法时，可能会遇到“局部最小值”的问题，即模型找到的解不是全局最优解。

设定学习率(Learning Rate)η的大小会对找到最优解的速度产生影响。

学习率过小可能导致训练缓慢，而停在局部最小值。

学习率过大可能导致无法收敛到最优解。