Datawhale X 李宏毅苹果书 AI夏令营 深度学习详解学习笔记（一）

Task1学习笔记

在第五期，Datawhale开源项目孵化的《深度学习详解》新书发布
电子版：https://github.com/datawhalechina/leedl-tutorial
纸质版教材指路（享六折优惠~）：https://u.jd.com/muCV8tI

机器学习基础学习笔记（一）

AI小白一枚，学习学习

1. 机器学习与深度学习概述

• 机器学习：使机器通过数据学习并预测或决策的过程。
• 深度学习：一种特殊类型的机器学习，使用多层神经网络处理数据。

2. 机器学习任务类型

• 回归（Regression）：预测连续值输出，如未来PM2.5数值。
• 分类（Classification）：预测离散标签，如邮件是否为垃圾邮件。
• 结构化学习（Structured Learning）：生成结构化输出，如画图或写文章。

3. 机器学习过程

• 案例分析：以视频点击次数预测为例。
• 三个步骤：
  1. 模型构建：创建带有参数的预测函数。
  2. 损失定义：确定预测误差的量化方式。
  3. 参数优化：通过最优化算法调整参数以最小化损失。

4. 模型构建

• 函数形式：如 ( y = b + wx_1 )，其中 ( y ) 是预测值，( x_1 ) 是特征，( b ) 是偏置，( w ) 是权重。

5. 损失函数

• 损失函数：衡量预测值与实际值差异的函数，如MAE或MSE。
• 损失计算：通过所有样本的误差累积来评估模型性能。

6. 参数优化

• 梯度下降：一种优化算法，通过迭代更新参数以减少损失。
• 更新规则：( w_{new} = w_{old} - \eta \frac{\partial L}{\partial w} )。

7. 梯度下降的挑战

• 局部最小值：可能陷入局部而非全局最小，影响模型性能。
• 超参数：如学习率 ( \eta )，需要根据问题调整。

8. 误差表面

• 误差表面：可视化不同参数组合下的损失，帮助理解优化过程。

9. 自动微分

• 在深度学习框架中，如PyTorch，自动计算微分简化了优化过程。

10. 实例分析

• 使用2017-2020年数据，通过梯度下降找到最优参数 ( w^* = 0.97, b^* = 100 )，损失 ( L(w^, b^) = 480 )。

11. 损失函数的负值

• 损失函数通常不会是负数，但自定义的损失函数可能产生负值。