线性回归输出是一个连续值,因此适用于回归问题。分类问题中模型的最终输出是一个离散值。softmax回归则适用于分类问题。线性回归和softmax回归都是单层神经网络。
线性回归的基本要素
模型定义,其中其中 $和 是权重(weight),是偏差(bias),且均为标量,都是模型的参数。模型输出 是线性回归对真实价格的预测或估计。我们通常允许它们之间有一定误差。
模型训练:需要通过数据来寻找特定的模型参数值,使模型在数据上的误差尽可能小。这个过程叫作模型训练(model training)
- 训练数据:假设我们采集的样本数为 ,索引为 的样本的特征为 和 ,标签为 。对于索引为 的样本,线性回归模型表达式为
- 损失函数:在模型训练中,我们需要衡量价格预测值与真实值之间的误差。通常我们会选取一个非负数作为误差,且数值越小表示误差越小。一个常用的选择是平方函数。
它在评估索引为 的样本误差的表达式为
,通常,我们用训练数据集中所有样本误差的平均来衡量模型预测的质量,即