似然函数与先验概率、后验概率的关系

似然函数、先验概率、后验概率这三个概念是贝叶斯统计中的核心概念，它们共同描述了如何根据已有数据更新我们对某个事件或参数的认识。下面用简单的语言解释这三个概念，并描述它们之间的关系。

1. 先验概率（Prior Probability）

先验概率是指在没有观察到数据之前，我们对某个事件或参数的相信程度，或我们原本的“猜测”。

简单解释：想象你要判断某个药物是否有效，但你还没有做任何实验。你根据以往的经验、研究，或者其他先验信息，认为药物有50%的概率有效，这个50%就是你的先验概率。它是你在看到任何新数据之前的信念。

关键点：先验概率是你在数据出现之前对某件事情的主观判断。

2. 似然函数（Likelihood Function）

似然函数表示的是在给定某个假设或参数值的情况下，观察到数据的可能性。它衡量的是假设或参数如何解释数据。

简单解释：现在你做了一次实验，观察到了实验结果。似然函数可以告诉你，在假设药物有效或无效的情况下，获得这个实验结果的可能性有多大。例如，假设药物有效时，90% 的患者都会好转，那么如果你观察到 10 个病人中有 9 个好转，那么在药物有效的假设下，观测到这样的结果的可能性（似然）是很大的。

关键点：似然函数是关于数据的，告诉我们假设的某个参数值如何解释我们实际看到的数据。

3. 后验概率（Posterior Probability）

后验概率是指在观察到数据之后，更新的对某个事件或参数的相信程度。它结合了先验概率和似然函数，给出一种基于已有数据修正后的判断。

简单解释：在实验之后，你根据实验结果对药物是否有效的判断会有所更新。如果实验结果表明 9 个病人中有 9 个好转，你会更加相信药物是有效的。这时你对药物有效性的信心增加，这个新的信心就是后验概率。

关键点：后验概率是通过结合你之前的信念（先验概率）和实验数据（似然函数）得到的更新信念。

这三个概念的关系：贝叶斯定理

这三个概念通过贝叶斯定理联系在一起，公式如下：

其中：

• 后验概率：是你在看到数据后对某件事情（如药物有效性）的新信念。
• 似然函数：告诉你假设某个情况（药物有效/无效）下，这些数据有多可能出现。
• 先验概率：是你在看到数据之前对事情的初始信念。
• 证据：是你在所有可能的假设下观测到数据的可能性，它确保后验概率是一个规范化的概率值。

举个例子

假设你想判断某个硬币是公平的（正反面概率都是 50%），但你还没有掷硬币。根据你的经验或猜测，你认为硬币是公平的概率是 50%，这就是你的先验概率。

接着，你掷了 10 次硬币，发现有 8 次是正面。此时，你会想知道硬币是公平的可能性有多大。为了得出这个结论，你需要计算掷 8 次正面的可能性（似然函数）。比如，如果硬币是公平的，掷 8 次正面的概率是很小的，但如果硬币偏向正面，掷 8 次正面的概率会更大。

最后，通过贝叶斯定理，你可以将先验概率和似然函数结合起来，计算掷完 10 次硬币之后，硬币是公平的概率（后验概率）。如果 8 次正面明显偏向正面，你对“硬币是公平的”这个信念的信心可能会下降，这就是后验概率的作用。

总结

• 先验概率：是你在获得数据之前的信念或猜测。
• 似然函数：是基于某个假设，观察到当前数据的可能性。
• 后验概率：是结合先验概率和数据之后，更新的对事件或参数的信念。

通过贝叶斯定理，这三个概念紧密联系在一起，用数据不断更新我们的判断。