Datawhale X 李宏毅苹果书 AI夏令营 Task2学习笔记

TASK2《深度学习详解》- 1.2 了解线性模型

概念

• 线性模型（Linear Model）：一种简单的预测模型，通过线性关系描述输入和输出之间的关系。
• 分段线性曲线（Piecewise Linear Curve）：由多个线性段组合而成的曲线，用于逼近复杂函数。
• Sigmoid函数：一种常用于神经网络中的激活函数，通过调整参数来拟合非线性关系。
• 优化问题：当参数数量增加时，通过梯度下降方法寻找最优参数组合，而非穷举所有可能的参数。
• 超参数选择：如Sigmoid函数的数量，它决定了模型的复杂度和灵活性。

课程内容

1. 线性模型的基础

   • 线性模型使用一个权重和一个偏置来预测输出。公式为：y = b + wx1。
   • 当使用线性模型预测过去几天的观看人次时，可以得到一个误差值（在训练数据上）。然而，当用于未来未见过的数据时，误差通常会更大。

2. 改进线性模型

   • 初始模型考虑的是前一天的观看次数，即用前一天的观看次数预测隔天的观看次数。
   • 修改模型使其考虑前7天的观看次数，公式变为：
     
     这种方法在训练数据和未见数据上的表现都优于只考虑前一天的模型。也可以进一步扩展为考虑前28天甚至56天的观看次数，但当考虑天数超过一定范围后，误差降低效果不明显。

3. 分段线性曲线

   • 线性模型的局限性在于它只能描述输入和输出之间的线性关系，而现实世界的关系往往更复杂。
   • 分段线性曲线（Piecewise Linear Curve）可以用来逼近任意连续函数。它由多个线性段组合而成，可以通过增加段数提高逼近的准确性。
   • 通过使用Hard Sigmoid函数，可以更有效地描述非线性的输入输出关系。Hard Sigmoid函数是一个分段的线性函数，具有两个平坦的区域和一个斜坡。

4. 用Sigmoid函数逼近Hard Sigmoid

   • Sigmoid函数的公式为：
     
     通过调整参数 (w)、(b) 和 (c)，可以得到不同形状的Sigmoid函数，这些函数可以叠加在一起逼近Hard Sigmoid函数。