2、线性回归模型
线性回归基于几个简单的假设:首先,假设自变量 x 和因变量 y 之间的关系是线性的,即y可以表示为 x 中元素的加权和,这里通常允许包含观测值的一些噪声;其次,我们假设任何噪声都比较正常,如噪声遵循正态分布。
假设自变量x与因变量y满足线性关系,数学中一般的线性方程为:y=ax+b
我们将y可以表示为x中元素的加权和,并且允许包含观测值的一些噪声,可以将式子设为:
y=ω1x1+…+ωdxd+b.
线性回归模型建立的步骤:
- 先假设一个线性模型。
- 计算该模型预测值与实际值的差距loss(损失函数)。
- 通过优化算法(如随机梯度下降)来更新参数,如w,b来降低误差。
2.1线性模型
一般我们将线性假设表示为特征的加权和:
y=ω1x1+…+ωdxd+b.
x表示元素的特征。
w称为权重,权重决定了每个特征对我们预测值的影响。
b称为偏置或者偏移量,偏移量指当所有特征值为0时,预测值应该为多少。(对于偏置的加入可以帮助模型有更好的泛化能力,即该模型在未见过的数据也有较好的表现)
如果是房屋的价格可以表示为:
2.2损失函数
在用模型拟合数据之前,需要确定一个拟合程度的度量。损失函数能够量化⽬标的实际值与预测值之间的差距。通常我们会选择⾮负数作为损失,且数值越小表⽰损失越小,完美预测时的损失为0。
回归问题中最常⽤的损失函数是平⽅误差函数:
liω,b=12y(i)-y(i)2
平方误差是关于w,b的函数;y(i):样本i的预测值;y(i)
:样本i的真实标签值
常数1/2便于对损失函数(平方项)求导时,能够将系数化为1.。