本文是《信息论，推理和学习算法》的学习笔记，探讨了概率的基本概念，以及在信息处理中的两种关键概率计算：前向概率和反向概率。前向概率关注在给定模型下数据发生的概率，例如多次投掷硬币或从有不同比例黑球的罐子中取球。反向概率则是在已知观测结果的情况下，推断未观测变量的条件概率，如比尔试图确定弗雷德选择的罐子。通过举例和贝叶斯定理的应用，阐述了两者的区别和计算方法。
参考《信息论，推理和学习算法》
基本概念：
概率：随机试验中结果出现的频度；
置信度：个体对事件的猜测概率；注意此时该事件并无概率，只是对事件进行判断的主题根据现有证据，对事件属于某个分区的猜测；
概率法则保证：如果两个人做同样的假设，得到相同的数据，那么他们就会得到相同的结论。更广义地使用概率来量化置信则被称为贝叶斯观点，也被称为概率的主观解释，因为概率取决于假设；
前向概率
前向概率涉及发生模型，该模型描述在一定假设下产生一些数据的过程，任务是计算取决于数据的某个数量的概率分布或期望值；该模型常见于一般的概率模型，n次掷硬币，从罐子里取小球问题，均属于前向模型；下面以书2.4为例：
描述数据生成过程：从装有K个球的罐子中，其中B个黑球，K-B个白球，随机从中选取一个球，再放回去，如此重复N次
任务：计算取出黑球次数n的概率分布
如题，概率分布为：伯努利分布
反向概率
反向概率也涉及一个过程的发生模型，但是不用计算该过程产生的某个量的概率分布，而是计算在给定观察变量的前提下，过程中一个或多个未观察变量的条件概率。
以下例子为分析：
例2.6 共有11个罐子，标记为u属于{0， 1， 2， ..., 10}&
最低0.47元/天 解锁文章
扫一扫
668
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
