【Datawhale X 李宏毅苹果书 AI夏令营】

线性模型是机器学习中的一种基础且重要的模型，它的核心思想是通过将输入特征线性组合来预测输出结果。线性模型具有形式简洁、易于建模的优点，并且蕴含着机器学习中一些重要的基本思想。许多功能更为强大的非线性模型可在线性模型的基础上通过引入层次结构或高维映射而得。

一、线性模型的原理

线性模型的表达式可以表示为 y = w^T * x + b，其中 w 和 b 是模型的参数，x 是输入特征向量，y 是预测结果。线性模型试图学习一个通过属性的线性组合来进行预测的函数。这里的“线性”指的是一系列一次特征的线性组合，在二维空间中表现为直线，在三维空间中表现为平面，推广到 n 维空间，这就是广义的线性模型。

二、线性模型的优缺点

线性模型的优点包括：

1. 形式简洁：线性模型易于理解和实现，其表达式简单明了。
2. 易于建模：线性模型可以直接使用最小二乘法等方法求解参数，无需复杂的迭代或优化过程。
3. 稳定性好：由于线性模型的参数是固定的，因此对于噪声和异常值不敏感，具有较好的鲁棒性。
4. 可解释性强：线性模型的权重向量直观表达了各个特征在预测中的重要性，这使得模型更容易解释和理解。

然而，线性模型也存在一些缺点：

1. 限制条件严格：线性模型的假设条件要求特征之间相互独立或者至少存在低相关性，否则可能无法找到正确的解或者模型的性能不佳。
2. 非线性问题处理能力有限：对于非线性问题，线性模型可能无法提供准确的预测结果。在这种情况下，需要引入非线性转换或使用其他非线性模型。
3. 对大规模数据集处理能力有限：随着数据集规模的增大，线性模型的计算复杂度也会增加，可能导致计算效率低下。因此，对于大规模数据集，需要考虑使用分布式计算等技术来提高计算效率。

三、分段线性曲线

定义：分段线性曲线是一种由多个线性片段组成的模型，用于解决标准线性模型在表示复杂关系时的局限性

分段线性曲线可以看作是一个常数再加上一群 Hard Sigmoid 函数。

Hard Sigmoid 函数的特性是当输入的值，当 x 轴的值小于某一个阈值（某个定值）的时候，大于另外一个定值阈值的时候，中间有一个斜坡。所以它是先水平的，再斜坡，再水平的。

考虑到 x 跟 y 的关系不是分段线性曲线，可以用 Sigmoid 函数逼近 Hard Sigmoid 函数。

Sigmoid 函数就是 S 型的函数。

只要有不同的 w 不同的 b 不同的 c，就可以制造出不同的 Sigmoid 函数，把不同的Sigmoid 函数叠起来以后就可以去逼近各种不同的分段线性函数；分段线性函数可以拿来近似各种不同的连续的函数。

四、模型变形

HardSigmoid 可以看作是两个修正线性单元（Rectified Linear Unit，ReLU）的加总，ReLU 的图像有一个水平的线，走到某个地方有一个转折的点，变成一个斜坡，其对应的公式为

c ∗ max(0, b + wx1)

在机器学习里面，Sigmoid 或 ReLU 称为激活函数（activation function）。当然还有其他常见的激活函数，但 Sigmoid 跟 ReLU 是最常见的激活函数。

Sigmoid 或 ReLU 称为神经元（neuron），很多的神经元称为神经网络（neural network）。

每一排称为一层，称为隐藏层（hiddenlayer）。

在训练数据和测试数据上的结果是不一致的，这种情况称为过拟合（overfitting）。