Datawhale AI 夏令营（第五期） 李宏毅苹果书 Task 2 《深度学习详解（入门）》- 1.2 了解线性模型

预测本频道观看人数（上） - 机器学习基本概念简介_哔哩哔哩_bilibili

预测本频道观看人数（下） - 机器学习基本概念简介_哔哩哔哩_bilibili

本节内容深入探讨了线性模型在深度学习中的基础作用，并分析了其局限性以及改进方向。通过实际案例，我们学习了如何构建、优化和应用线性模型，并引出了深度学习的概念。

线性模型的基本原理

线性模型是深度学习中最基础、最简单的模型之一。其核心思想是：将输入的特征 x 与一组权重 w 相乘，并加上一个偏置 b，得到预测结果 y。数学表达式如下：

y = b + w1x1 + w2x2 + … + wnxn

其中，xi 代表第 i 个特征，wi 代表该特征的权重，b 代表偏置。

线性模型通过学习特征与结果之间的线性关系，来进行预测。例如，我们可以使用线性模型预测视频观看次数，其中特征可以是前一天的视频观看次数，权重和偏置则由模型学习得到。

线性模型的局限性

线性模型虽然简单易用，但其局限性也很明显：

• 模型表达能力有限：线性模型只能表达线性关系，无法模拟更复杂的非线性关系。
• 模型偏差较大：当数据特征与结果之间存在非线性关系时，线性模型的预测误差会较大。

线性模型的改进

为了克服线性模型的局限性，我们可以从以下几个方面进行改进：

• 增加特征数量：通过增加特征数量，可以更好地捕捉数据特征与结果之间的关系。
• 使用非线性激活函数：例如 Sigmoid 函数或 ReLU 函数，可以将线性模型转化为非线性模型，从而提高模型的表达能力。
• 增加模型层数：通过增加模型层数，可以构建更复杂的非线性模型，例如神经网络。

深度学习的兴起

深度学习是近年来兴起的一种强大的机器学习方法，其核心思想是构建深层神经网络模型，并利用反向传播算法进行训练。

深度学习模型具有以下优势：

• 强大的模型表达能力：深度学习模型可以模拟复杂的非线性关系，从而更好地拟合数据。
• 自动学习特征：深度学习模型可以自动学习数据的特征，无需手动设计特征工程。
• 泛化能力强：深度学习模型在训练数据上表现良好的情况下，通常也具有良好的泛化能力。

线性模型在深度学习中的应用

虽然深度学习模型比线性模型更强大，但线性模型仍然是深度学习中的基础。深度学习模型的底层通常由线性层构成，而非线性激活函数则用于引入非线性关系。

此外，线性模型在以下场景中仍然具有重要作用：

• 数据量较小：当数据量较小，不足以训练复杂的深度学习模型时，线性模型可以作为一种简单有效的选择。
• 计算资源有限：线性模型的计算复杂度较低，适用于计算资源有限的场景。
• 特征与结果之间存在线性关系：当特征与结果之间存在线性关系时，线性模型可以取得良好的效果。

总结

线性模型是深度学习的基础，虽然其局限性限制了其应用范围，但通过改进可以构建更复杂的非线性模型。深度学习模型具有强大的模型表达能力和泛化能力，是当前机器学习领域的研究热点。

疑问

• Hard Sigmoid 的定义： 教材提到的 Hard Sigmoid 函数，与常见的定义略有不同。常见的 Hard Sigmoid 函数表达式如下：

y = max(0, min(1, x))

而 教材提到的 Hard Sigmoid 函数，更像是一个分段线性函数，其表达式为：

y = c * (x > 0) + (1 - c) * (x < 0)

其中，c 是一个常数，表示函数的斜率。

• ReLU 函数的公式： 教材提到的 ReLU 函数公式为：

c * max(0, b + wx1)

而常见的 ReLU 函数公式为：

max(0, wx1 + b)

• 模型变形的说明： 教材提到，可以使用多个 ReLU 函数来合成一个 Hard Sigmoid 函数。然而，根据常见的定义，一个 Hard Sigmoid 函数可以由两个 ReLU 函数合成，而不是教材提到的两个 ReLU 函数。