层次贝叶斯模型

1 概念:

层次贝叶斯模型是具有结构化层次的统计模型，它可以用来为复杂的统计问题建立层次模型从而避免参数过多导致的过拟合问题。

通过贝叶斯方法来估计后验分布的参数。

2 推断过程：

我们对层次贝叶斯推断的策略与一般的多参数问题一样，但由于在实际中层次模型的参数很多，所以比较困难，在实际中我们很难画出联合后联合概率分布的图形。但是可以使用近似的基于仿真的方法.运用层次贝叶斯模型主要需要计算所有参赛在已知观察量下的条件后验概率，其推导过程主要包含三个步骤:

1) 写出联合后验密度，p(θ, φ|y)，其非正规化的形式是超先验分布p(φ),总体分布 p(θ|φ) 和似然函数p(y|θ) 的乘积。

2), 在给定超参数φ 的情况下，确定θ 的条件后验密度，固定观测值y的情况下，它是φ 的函数，p(θ|φ, y)。

3） 使用贝叶斯分析范例估计φ。 也就是要获取边缘后验分布，p(φ|y)。

应用: 很多统计模型都有多个参数，这些参数也可以通过某种方式变成具有结构的问题，意味着这些参数的联合概率模型应当反应出它们之间的依赖关系。举个例子：在研究心脏病治疗效果的时候，医院j的存活率为θj，那么 估计θj 应当是相互联系的。我们可以看到使用先验分布把θj 当作一个总体分布的样本是很自然的事情，这样的应用有一个很关键的点是观测数据yij，其中观测的结果是在某些参数下的条件模型，这些参数称为超参数。 这样的层次模型可以帮助我们理解多参数问题，并且在寻找计算策略时提供重要帮助。

  实际上，简单的非层次模型可能并不适合层次数据，在很少参数的情况下，它们并不能准确适配大规模数据集，然而过多的参数则可能导致过拟合的问题. 相反层次模型有足够的参数来拟合数据，同时使用总体分布将参数的依赖结构话，从而避免过拟合问题。

3 贝叶斯和层次贝叶斯的比较

https://blog.csdn.net/lee813/article/details/53446560