变分推断(variational inference)

原始目标：需根据已有数据推断需要的分布p；

当p不容易表达，不能直接求解时，可以尝试用变分推断的方法

即：寻找容易表达和求解的分布q，当q和p的差距很小的时候，q就可以作为p的近似分布，成为输出结果；

在这个过程中，我们的关键点转变了，从“求分布”的推断问题，变成了“缩小距离”的优化问题。

<基础系列>1：先验概率 & 后验概率 - 笨笨的文章 - 知乎 https://zhuanlan.zhihu.com/p/38567891

全概率公式：是“由因推果”的思想，当知道某件事的原因后，推断由某个原因导致这件事发生的概率为多少。

贝叶斯公式：是“由果溯因”的思想，当知道某件事的结果后，由结果推断这件事是由各个原因导致的概率为多少。

• “概率”描述了给定模型参数后，描述结果的合理性，而不涉及任何观察到的数据
• “似然”描述了给定了特定观测值后，描述模型参数是否合理

例题：

假设一个学校里有60%男生和40%女生。女生穿裤子的人数和穿裙子的人数相等，所有男生穿裤子。

先验概率

一个人在远处随机看到了一个学生，这个学生是女生的概率是多少？

没有任何观测值时候，完全根据经验来判断的概率，叫做先验概率。

后验概率

一个人在远处随机看到了一个穿裤子的学生。

有了观测值以后，通过观测值，来反推Unobserved events发生的概率，就叫后验概率。

如何简单易懂地理解变分推断(variational inference)？ - 过小咩的回答 - 知乎 https://www.zhihu.com/question/41765860/answer/331070683

挖坑，未完待续...........