Datawhale X 李宏毅苹果书 AI夏令营 深度学习入门Task_2笔记

1.线性模型（Linear Model）

（1）基本原理

将输入的特征 x 与一组权重 w 相乘，并加上一个偏置 b，得到预测结果 y。

数学表达式如下：

y = b + w1x1 + w2x2 + … + wnxn

其中，xi 代表第 i 个特征，wi 代表该特征的权重，b 代表偏置。

线性模型通过学习特征与结果之间的线性关系，来进行预测。例如，我们可以使用线性模型预测视频观看次数，其中特征可以是前一天的视频观看次数，权重和偏置则由模型学习得到。

（2）基本形式

一元线性模型：对于单个特征；
多元线性模型：对于多个特征；

（3）学习步骤

【1】模型假设：

选择模型框架
【2】模型评估：

定义损失函数  { 常用的损失函数是均方误差（MSE）}
【3】模型优化：

使用梯度下降等方法
{ 梯度下降法：通过迭代地更新模型参数 和 来最小化损失函数  }

（4）局限性

【1】模型表达能力有限：

线性模型只能表达线性关系，无法模拟更复杂的非线性关系。
【2】模型偏差较大：

当数据特征与结果之间存在非线性关系时，线性模型的预测误差会较大。

（5）改进

【1】增加特征数量：

通过增加特征数量，可以更好地捕捉数据特征与结果之间的关系。
【2】使用非线性激活函数：

如 Sigmoid 函数或 ReLU 函数，可以将线性模型转化为非线性模型，从而提高模型的表达能力。
【3】增加模型层数：

通过增加模型层数，可以构建更复杂的非线性模型，例如神经网络。

线性模型是深度学习的基础，虽然其局限性限制了其应用范围，但通过改进可以构建更复杂的非线性模型。深度学习模型具有强大的模型表达能力和泛化能力，是当前机器学习领域的研究热点。

 2.线性模型（Linear Model）也许过于简单，需要更加复杂的模型——需要一个更加复杂、更有弹性的模型

Model bias：由线性模型自身导致的限制（无法模拟真实情况）

从分段线性曲线到连续曲线
所有的Piecewise Linear Curves（分段线性曲线）都可以由常数加上一系列折线函数之和；

（1）折线函数——Hard Sigmoid函数

 

当分段足够多时，可以用分段曲线来近似描述连续曲线（分段越多，近似的效果越好）

利用Sigmoid函数来逼近折线：

改变参数	图像变化
w	改变斜率（slope）
b	左右移动
c	改变高度

故下式为上方红色折线表达式： 

（2）Rectified Linear Unit函数（ReLU）： 

Hard Sigmoid函数相当于两个ReLU函数的相加：

（3）过拟合（Overfitting）：

在训练集上表现优秀，但在测试集上表现不佳；

复杂模型虽然具有更强大的表达能力，但在训练数据上误差非常小，而在测试数据上误差却很大，这就是过拟合。原因是高次模型中符合当前训练数据规律的函数可能不止一条，但真正符合实际数据规律的曲线只有一条。