机器学习回归

线性回归

线性模型中我们假设自变量x与因变量y存在线性关系，预测值是各个观测值加权和再加上一定的噪声，其中我们假设噪声满足高斯分布。

y^=w1x1+...+wdxd+b

我们要找的一组参数使得预测值与真实值之间的误差最小，用损失函数来衡量模型与数据的拟合程度。

衡量error的方式有很多其中最常见的有平方损失误差，绝对损失误差，交叉熵等。

有了模型与损失函数，又因为这是一个凸函数就可以使用梯度下降来再到最优解，或直接利用线性代数知识找到闭式解。

在高斯分布的假设下，极大似然估计与均方最小误差结果一致。

当然线性模型实在是过于简单，一般使用两层神经网络就可以实现，输入层与输出层。

想要使模型的拟合能力增强，可以增加参数给模型更多的输入信息，或者是增加层数，这两个方式一个是使神经网络更宽，一个是使其更深。模型变复杂的带来的好处是具有更强的拟合能力降低了欠拟合，但也加大了过拟合的风险，在损失函数三加入正则项一般是二范式，加强模型的泛化能力。