python实现贝叶斯回归_Python用PyMC3实现贝叶斯线性回归模型

概要：

本文将会 说明 线性回归和逻辑回归都是广义线性模型的一种特殊形式，介绍广义线性模型的一般求解步骤。 利用广义线性模型推导 出 多分类的Softmax Regression。

线性回归中我们假设：

逻辑回归中我们假设：

其实它们都只是 广义线性模型 (GLMs) 的特例。提前透露：有了广义线性模型下 我们只需要把 符合指数分布的一般模型 的参数 转换成它对应的广义线性模型参数，然后 按照 广义线性模型的 求解步骤 即可轻松求解问题。

指数分布族( The exponential family)

首先我们定义一下什么是指数分布族，它有如下形式：

简单介绍下其中的参数 (看不懂没关系)

 是 自然参数 ( natural parameter )

 是充分统计量( sufficient statistic ) (一般情况下 

)

 是 log partition function ( 

 充当正规化常量的角色，保证 

 )

也就是所 T，a, b 确定了一种分布，

 是 该分布的参数。

选择合适的 T， a，b 我们可以得到 高斯分布 和 Bernoulli 分布。

Bernoulli分布的指数分布族形式：

=>

即：在如下参数下 广义线性模型是 Bernoulli 分布

Gaussian 分布的指数分布族形式：

在线性回归中，

 对于模型参数 

 的选择没有影响，为了推导方便我们将其设为1：

得到 对应的参数：

用广义线性模型进行建模：

想用 广义线性模型对一般问题进行建模首先需要明确几个 假设：

 y的条件概率属于指数分布族

给定x 广义线性模型的目标是 求解

 ， 不过由于 很多情况下 

 所以我们的目标变成了 

 , 也即 我们希望拟合函数为 

 ( 备注： 这个条件在 线性回归 和 逻辑回归中都满足， 例如 逻辑回归中 

 )

自然参数

 与 x是线性关系 ： 

 ( 

为向量时 

 )

有了如上假设 就可以 进行建模和求解了：

具体参考下面例子。

广义线性模型 推导出 线性回归：

step1:

step2: 由假设2

 得到：

广义线性模型 推导出 逻辑回归：

step1:

step2: 与上面同理

广义线性模型推导出 Softmax Regression (多分类算法)：

【step1】:

y有多个可能的分类：

 ，

每种分类对应的概率：

 但是 由于 

 , 所以一般 用 k-1个参数 

 其中 

为了将 多项分布 表达为 指数族分布：

定义

 ，它不再是 一个数 而是一个变量

引进指示函数：

 为 

得到它的指数分布族形式 以及 各个对应参数为：

求出

 :

=>

也即：

至此我们就可以利用广义线性模型进行求解：

【step2】

可见 拟合函数的输出结果是 每一种分类对应的概率 所组成的向量。

接下了只需要根据 最大似然法拟合参数即可:

可以用梯度上升或着牛顿法。