Datawhale X 李宏毅苹果书 AI夏令营 深度学习（入门）方向 Task01学习笔记

学习李宏毅苹果书第一章：

• 1.机器学习和深度学习基础

  • 机器学习是使机器能够找到一个函数的过程，该函数能将输入（如图像、声音）转换为有用的输出（如标签、文字）。
  • 深度学习是机器学习的一个子领域，使用神经网络特别是多层结构处理更复杂的问题。

• 2.机器学习任务类型

  • 回归任务：输出为连续数值，例如预测房价或股票价格。
  • 分类任务：输出为离散类别，例如图像识别或垃圾邮件检测。
  • 结构化学习任务：输出为有结构的输出，例如生成文本或图像。

• 3.案例学习：视频点击次数预测

  • 通过历史数据预测未来的观看次数，使用的模型为简单线性回归：y=b+wxy = b + wxy=b+wx其中 yyy 是目标变量，xxx 是特征（前一天的观看次数），bbb 和 www 是模型参数。
  • 损失函数用于评估预测值与实际值之间的差异，常见的有平均绝对误差（MAE）和均方误差（MSE）。

• 4.梯度下降优化

  • 梯度下降是一种优化算法，用于找到使损失函数最小化的模型参数。
  • 通过迭代调整参数，逐步逼近最小损失解，每次迭代中参数的更新依赖于损失函数相对于该参数的梯度。
  • 学习率决定了每一步更新的幅度，太大可能导致过冲，太小则收敛速度慢。

书中图1.3

图解：

图1.3-优化过程：

        梯度下降示意: 这张图展示了梯度下降算法如何工作，包括如何选择初始点，如何根据损失函数的梯度调整参数，以及如何迭代优化以逐渐减少损失 。

        斜率判断: 图中展示了在不同斜率条件下参数如何更新，如果斜率为负，则增加参数值以降低损失；如果斜率为正，则减少参数值。

• 5.超参数和模型调整

  • 超参数，如学习率和迭代次数，需要在训练前设定，通常通过验证集来调整这些参数以优化模型性能。
  • 在实际应用中，根据任务的不同，可能需要调整模型结构或选择不同的损失函数和优化算法。

书中图1.4

图1.5-梯度下降优化的过程

图解：

图 1.4 和图 1.5：局部最小值和梯度下降优化

• 局部与全局最小: 局部最小值问题在深度学习优化中非常常见，这种情况下，虽然找到了一个使损失最小的点，但可能不是全局最小值。图中展示了如何区分全局最小值和局部最小值 。
• 优化过程: 进一步展示了如何通过迭代过程逐步调整参数以寻找最优解，包括初始点的选择和步长的影响。