线性回归模型

2、线性回归模型

线性回归基于几个简单的假设：首先，假设自变量 x 和因变量 y 之间的关系是线性的，即y可以表示为 x 中元素的加权和，这里通常允许包含观测值的一些噪声；其次，我们假设任何噪声都比较正常，如噪声遵循正态分布。

    假设自变量x与因变量y满足线性关系，数学中一般的线性方程为：y=ax+b
我们将y可以表示为x中元素的加权和，并且允许包含观测值的一些噪声，可以将式子设为：

y=ω1x1+…+ωdxd+b.

线性回归模型建立的步骤：

1. 先假设一个线性模型。
2. 计算该模型预测值与实际值的差距loss(损失函数)。
3. 通过优化算法（如随机梯度下降）来更新参数，如w,b来降低误差。

2.1线性模型

一般我们将线性假设表示为特征的加权和：

y=ω1x1+…+ωdxd+b.

x表示元素的特征。
w称为权重，权重决定了每个特征对我们预测值的影响。
b称为偏置或者偏移量，偏移量指当所有特征值为0时，预测值应该为多少。（对于偏置的加入可以帮助模型有更好的泛化能力，即该模型在未见过的数据也有较好的表现）

如果是房屋的价格可以表示为：

       2.2损失函数

       在用模型拟合数据之前，需要确定一个拟合程度的度量。损失函数能够量化⽬标的实际值与预测值之间的差距。通常我们会选择⾮负数作为损失，且数值越小表⽰损失越小，完美预测时的损失为0。

         回归问题中最常⽤的损失函数是平⽅误差函数：

liω,b=12y(i)-y(i)2

平方误差是关于w,b的函数；y(i)：样本i的预测值；y(i)：样本i的真实标签值

    常数1/2便于对损失函数（平方项）求导时，能够将系数化为1.。