02深度学习入门_Datawhale X 李宏毅苹果书 AI夏令营

线性模型

为什么要使用线性模型？

• 因为我们要让机器求解复杂的函数模型、拟合复杂的曲线，所以用“以直代曲”的数学思想来简化问题；这样一来不仅便于人理解，而且具备很高的可行性
• 举例：给部分数据，实现蓝色拟合红色曲线。
  

常用线性模型

• HardSigmoid函数
  

• Sigmoid函数
  

• ReLU函数

案例学习

• 案例背景
  损失函数L(w, b)、L(θ1，θ2，θ3…)初步估计后，先给定各个参数θ初值，然后求L的最优解，进而求解出复杂的函数。在此过程中，就用到了线性模型来作激活函数来拟合复杂曲线，如下图所示公式
  

• 优化步骤：梯度下降

• 1. 求梯度，即求偏导
     
• 2. 更新步长、方向
     
• 3. 求得最优解，即确定最优参数对应的损失函数L

机器学习3步骤

每日一问

为什么不用二次曲线拟合？但不清楚用二次曲线拟合和线性模型拟合的区别，尤其是数据复杂时二者的优良？
答：因为二次曲线也可以用常用的线性模型拟合。当问题复杂时、数据很多时，一次曲线拟合后可逐步叠加使得模型变得复杂。