Datawhale X 李宏毅苹果书 AI夏令营 深度学习详解学习笔记(一)
Task1学习笔记
在第五期,Datawhale开源项目孵化的《深度学习详解》新书发布
电子版:https://github.com/datawhalechina/leedl-tutorial
纸质版教材指路(享六折优惠~):https://u.jd.com/muCV8tI
机器学习基础学习笔记(一)
AI小白一枚,学习学习
1. 机器学习与深度学习概述
- 机器学习:使机器通过数据学习并预测或决策的过程。
- 深度学习:一种特殊类型的机器学习,使用多层神经网络处理数据。
2. 机器学习任务类型
- 回归(Regression):预测连续值输出,如未来PM2.5数值。
- 分类(Classification):预测离散标签,如邮件是否为垃圾邮件。
- 结构化学习(Structured Learning):生成结构化输出,如画图或写文章。
3. 机器学习过程
- 案例分析:以视频点击次数预测为例。
- 三个步骤:
- 模型构建:创建带有参数的预测函数。
- 损失定义:确定预测误差的量化方式。
- 参数优化:通过最优化算法调整参数以最小化损失。
4. 模型构建
- 函数形式:如 ( y = b + wx_1 ),其中 ( y ) 是预测值,( x_1 ) 是特征,( b ) 是偏置,( w ) 是权重。
5. 损失函数
- 损失函数:衡量预测值与实际值差异的函数,如MAE或MSE。
- 损失计算:通过所有样本的误差累积来评估模型性能。
6. 参数优化
- 梯度下降:一种优化算法,通过迭代更新参数以减少损失。
- 更新规则:( w_{new} = w_{old} - \eta \frac{\partial L}{\partial w} )。
7. 梯度下降的挑战
- 局部最小值:可能陷入局部而非全局最小,影响模型性能。
- 超参数:如学习率 ( \eta ),需要根据问题调整。
8. 误差表面
- 误差表面:可视化不同参数组合下的损失,帮助理解优化过程。
9. 自动微分
- 在深度学习框架中,如PyTorch,自动计算微分简化了优化过程。
10. 实例分析
- 使用2017-2020年数据,通过梯度下降找到最优参数 ( w^* = 0.97, b^* = 100 ),损失 ( L(w^, b^) = 480 )。
11. 损失函数的负值
- 损失函数通常不会是负数,但自定义的损失函数可能产生负值。