先验信息，先验概率，先验分布，后验概率，后验分布，共轭分布，共轭先验分布

任何一个学科，最基本的就是概念，概念一定要清楚，清晰，否则概念都模棱两可的话，这之上的一切建筑都不牢固。很多概念可能长时间不使用就会变得模糊，所以在这里记录一下，输出是最好的记忆。

先验与后验的区别主要在于有没有利用样本信息。没用样本信息是先验。用了样本信息是后验。

观测样本前的经验是先验，观测样本后的经验是后验。

“先”与“后”主要体现在对样本信息的利用上。

先验概率可理解为先（样本）概率，观测样本之前的概率估计。

后验概率可理解为后（样本）概率，观测样本之后的概率估计。

1. 先验信息：

         一般可理解为领域知识。

2. 先验概率/先验分布

       在观测到样本之前，根据先验信息或领域知识（与具体的样本知识无关），对样本的分布或模型参数做出的初始化假设或猜测。一般只包含一个变量，例如P(A)，P(B)。

        更多描述方式：

• 在没有任何样本知识/事件知识的情况下，人们对样本的分布参数/事件的发生概率的猜测值，一般用于模型参数的初始化。
• 在没有任何样本知识的情况下，对样本分布参数的初始化假设，或猜测值。
• 在对一个事件没有任何了解的情况下，对一个该事件发生的概率的猜测，或对导致这个事件的各个原因的概率的猜测。
• 因为这个猜测值或初始化值是人为给出的，而人往往会根据自己的生活经验或工作经验做出猜测，所以称为先验。

3. 后验概率/后验分布

        人们通过观察样本，获得了一些当前样本的信息，我们根据这些信息对样本的分布参数进行调整，这个调整后的分布称为后验分布。一般是以条件概率的形式出现，如P(A|B)。

          更多描述方式：

•          在先验概率的基础上，人们通过观察，得到了一些样本信息或事件知识，人们可以通过这些得到的知识对之前的猜测值（先验概率/先验分布的参数）进行修改/更正，这个调整后的概率值或分布参数称为后验概率或后验分布。

3. 共轭分布

        服从相同分布律(形式相同，参数不同)的先验分布与后验分布称为共轭分布。

“共轭”的原始意义：两头牛背上的架子称为轭，轭使两头牛同步行走。共轭即为按一定的规律相配的一对。

在贝叶斯概率理论中，如果后验概率P(θ|X)和先验概率P(θ)满足同样的分布律(形式相同，参数不同)。那么，先验分布和后验分布被叫做共轭分布，同时，先验分布叫做似然函数的共轭先验分布。

 

参考：https://blog.csdn.net/xbmatrix/article/details/63253177

          https://blog.csdn.net/sthp888/article/details/90636368?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.edu_weight&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.edu_weight