Datawhale X 李宏毅苹果书 AI夏令营（二）：线性模型

线性模型定义

把输入的特征 x 乘上一个权重，再加上一个偏置就得到预测的结果，这样的模型称为线性模型（linear model）。

变种：分段线性模型

在数学意义上就是高中学的分段直线。

线性模型的局限性

• 线性模型过于简单,无法拟合复杂的非线性关系
• 引入了分段线性曲线的概念,可以逼近任何连续函数

激活函数

• Sigmoid函数和ReLU(Rectified Linear Unit)是常用的激活函数
• ReLU函数: f(x) = max(0, x)
• 多个ReLU可以组合成分段线性函数

神经网络结构

• 神经元是网络的基本单元,可以是Sigmoid或ReLU
• 多个神经元组成一层,称为隐藏层
• 多个隐藏层叠加形成深度神经网络

模型训练

• 定义损失函数衡量模型性能
• 使用梯度下降法优化模型参数
• 批量梯度下降:将数据分成小批量进行训练

过拟合问题

• 模型在训练集表现很好,但在测试集表现较差
• 需要在模型复杂度和泛化能力之间权衡（通过学习率来调整）

框架设计

• 定义含未知参数θ的函数f_θ(x)
• 定义损失函数L(θ)
• 优化参数θ使损失最小:θ* = argmin_θ L(θ)
• 用最优参数θ*在测试集上进行预测