线性模型
为什么要使用线性模型?
- 因为我们要让机器求解复杂的函数模型、拟合复杂的曲线,所以用“以直代曲”的数学思想来简化问题;这样一来不仅便于人理解,而且具备很高的可行性
- 举例:给部分数据,实现蓝色拟合红色曲线。
常用线性模型
-
HardSigmoid函数
-
Sigmoid函数
-
ReLU函数
案例学习
-
案例背景
损失函数L(w, b)、L(θ1,θ2,θ3…)初步估计后,先给定各个参数θ初值,然后求L的最优解,进而求解出复杂的函数。在此过程中,就用到了线性模型来作激活函数来拟合复杂曲线,如下图所示公式
-
优化步骤:梯度下降
-
- 求梯度,即求偏导
- 求梯度,即求偏导
-
- 更新步长、方向
- 更新步长、方向
-
- 求得最优解,即确定最优参数对应的损失函数L
机器学习3步骤
每日一问
为什么不用二次曲线拟合?但不清楚用二次曲线拟合和线性模型拟合的区别,尤其是数据复杂时二者的优良?
答:因为二次曲线也可以用常用的线性模型拟合。当问题复杂时、数据很多时,一次曲线拟合后可逐步叠加使得模型变得复杂。