Datawhale X 李宏毅苹果书AI夏令营-机器学习的基本原理与实践案例

1. 机器学习与深度学习的基础概念

• 机器学习 (Machine Learning, ML): 机器学习是一种赋予计算机通过数据学习特定任务的能力的方法。核心在于找到一个函数，使机器能够根据输入数据进行预测或决策。例如，语音识别系统通过学习声音信号与文字之间的对应关系，自动找到对应的函数完成语音识别任务。
• 深度学习 (Deep Learning, DL): 深度学习是机器学习的一个子领域，使用多层神经网络处理复杂数据，适用于图像识别、自然语言处理等需要高度非线性映射的任务。

2. 机器学习的主要任务分类

• 回归 (Regression): 任务的输出是一个连续的数值。例如，预测未来的PM2.5数值。
• 分类 (Classification): 任务的输出是从预先定义的类别中选择一个。例如，垃圾邮件检测。
• 结构化学习 (Structured Learning): 任务输出是具有结构化的结果，例如生成图片或文章。

3. 案例学习：视频点击次数的预测

• 第一步：构建模型

  • 构建一个包含未知参数的函数模型。例如，假设模型为 y=b+wx1y = b + wx1y=b+wx1，其中 yyy 是预测的观看次数，x1x1x1 是前一天的观看次数，www 和 bbb 是未知参数。这些参数可以通过历史数据来估计。
  • 领域知识（domain knowledge）在初步猜测模型形式时非常重要。

• 第二步：定义损失函数

  • 损失函数用于衡量模型的预测误差。例如，可以使用平均绝对误差 (MAE) 或均方误差 (MSE) 来量化预测值与真实值之间的差距。损失函数越小，模型越精确。
  • 通过对历史数据计算损失来调整模型参数，使损失最小化。

• 第三步：优化模型

  • 通过梯度下降法（Gradient Descent）优化参数。该方法通过不断调整参数，使得损失函数的值逐渐减小，最终找到使损失最小的参数组合。
  • 梯度下降的过程涉及选择初始点、计算损失函数的导数、调整参数以及确定步长（学习率）。

4. 梯度下降的关键点

• 学习率 (Learning Rate): 决定了每次参数更新的步伐大小。学习率过大会导致跳过最优解，学习率过小则导致收敛速度过慢。
• 局部最小值 (Local Minima): 梯度下降可能会陷入局部最小值，而非全局最小值。为避免这一问题，通常需要在多个初始点进行尝试。

5. 线性模型的应用与误差评估

• 实际应用: 使用优化后的模型对新数据进行预测，并通过计算误差来评估模型的效果。在训练数据上的误差通常较小，但在未见过的数据上进行预测时可能会出现更大的误差。
• 误差评估: 训练数据上的误差与新数据上的误差之间的差异，揭示了模型在实际应用中的表现。

总结

• 机器学习通过数据训练模型，寻找合适的函数映射以进行预测。深度学习通过多层神经网络处理复杂的任务。
• 梯度下降法在模型优化中发挥了重要作用，但在实际应用中需要谨慎设置超参数以避免陷入局部最小值。