线性模型
线性模型是最基础的模型类型,它通过将输入特征与权重相乘,并加上偏置来预测结果。优点在于其简单性和解释性,但也存在明显的局限性。线性模型只能捕捉特征与目标值之间的线性关系,而在许多实际问题中,特征与目标值之间的关系往往更加复杂。
分段线性曲线(Piecewise Linear Curve)
线性模型的局限性在于它无法表示非线性的复杂关系。通过使用分段线性曲线,可以在不同的区间内用不同的线性模型来逼近非线性关系。
模型变形
为了克服线性模型的局限性,模型可以通过引入非线性激活函数来进行变形。激活函数能够在不同的输入区间内引入非线性,从而使模型能够表达更加复杂的关系。
神经网络
神经网络是由多个神经元组成的复杂网络结构。每一层由多个神经元组成,称为隐藏层。通过层层叠加,神经网络能够从简单的输入特征中提取出更加抽象和复杂的特征。
深度学习
深度学习是神经网络的进一步扩展,通过增加隐藏层的数量,使得网络能够学习到更为深层次的特征。随着层数的增加,网络的表达能力也显著增强。
残差网络
这些残差块通过引入短路连接,允许信息在层与层之间更快地传播,从而解决了深层网络中梯度消失的问题。ResNet 的层数可以达到 152 层,并且在图像识别任务中取得了显著的性能提升。
过拟合
当模型在训练数据上表现非常好,但在未见过的数据上表现较差时,便发生了过拟合。这表明模型过度拟合了训练数据中的噪声或特定模式,导致其泛化能力下降。防止过拟合的方法包括正则化、使用更少的参数、交叉验证等。
反向传播
反向传播是深度学习模型训练中一种高效的梯度计算方法。通过反向传播,模型可以通过计算损失函数相对于各个参数的梯度,来调整模型参数,从而最小化预测误差。