贝叶斯公式的对数似然函数_回字的四种写法——从线性回归到贝叶斯线性回归...

故名思意，线性回归是一种线性模型，线性模型形式简单、易于建模。许多功能更为强大的非线性模型可在线性模型的基础上通过引入层级结构或者高维映射而得。本文先从不同的角度讨论的线性回归，最后到贝叶斯线性回归

本文主要是从数学推导方面进行总结，所以绝大部分都是公式。首先给定一个训练集

和样本的标签

线性回归试图学得一个线性模型：

能够根据给定的

以尽可能准确的输出预测值，上面的

是模型的参数

也许开始之前先应该说一些关于频率派和贝叶斯派的区别作为铺垫，简单的来说，频率学派的观点是，对于一个概率模型，参数是固定的、未知的常量——因为参数就在那里，我们只需要按某种方法去达到它，最后可以看作是一个优化问题

而贝叶斯学派的观点是，参数是未知的变量，它自身也是遵循某个概率分布的，我们只有它的先验分布，需要根据观察到的数据来进行调整

线性回归

首先从频率派的角度出发，为了寻找最优的参数，定义一个损失函数

通过最小化损失来得到最优参数。例如有下面一组的样本，我们希望拟合出一条能够很好的体现样本的趋势的直线

下面化简函数：

注意上式中红色部分的两项都是一个实数，且值相同，所以合为一项。接着，求最优参数：

对上式求导并令倒数为0：

得到：

接着，换一个角度来看线性回归。上面通过最小二乘法虽然拟合出了一条线能够较好的体现数据的内在规律，但是与绝大部分样本的真实值相比，还是有偏差的

如上图所示，对于这种偏差，我们可以将它看作一个是一个噪声，一个服从高斯分布的随机变量，对于给定的

，它的真实值从下面的过程得到

其中

是噪声，

是给定的，

虽然是未知的，但是也