![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
概率与信息论
萤火虫之暮
这个作者很懒,什么都没留下…
展开
-
高斯混合模型(Gaussian Mixture Model)
混 合 模 型 使 我 们 能 够 一 瞥 以 后 会 用 到 的 一 个 非 常 重 要 的 概 念 —— 潜 变 量(latent variable)。潜变量是我们不能直接观测到的随机变量。原创 2018-02-26 19:10:54 · 742 阅读 · 0 评论 -
贝叶斯分析
贝叶斯统计首先谈概率,概率这件事大家都觉得自己很熟悉, 叫你说概率的定义 , 你却不一定说的出,我们中学课本里说概率这个东西表述是一件事发生的频率, 或者说这叫做客观概率。而贝叶斯框架下的概率理论确从另一个角度给我们展开了答案, 他说概率是我们个人的一个主观概念, 表明我们对某个事物发生的相信程度。 如同 Pierre Lapalace 说的: Probability theory is noth...转载 2018-02-27 11:57:23 · 9848 阅读 · 0 评论 -
条件概率 and 条件概率的链式法则 and 期望、方差和协方差
条件概率的链式法则协方差和相关性是有联系的,但实际上是不同的概念。它们是有联系的,因为两个变量如果相互独立那么它们的协方差为零,如果两个变量的协方差不为零那么它们一定是相关的。然而,独立性又是和协方差完全不同的性质。两个变量如果协方差为零,它们之间一定没有线性关系。独立性比零协方差的要求更强,因为独立性还排除了非线性的关系。两个变量相互依赖但具有零协方差是可能的....原创 2018-02-25 20:08:41 · 4987 阅读 · 0 评论 -
高斯分布 (Gaussian distribution)
采用正态分布在很多应用中都是一个明智的选择。当我们由于缺乏关于某个实数上分布的先验知识而不知道该选择怎样的形式时,正态分布是默认的比较好的选择,其中有两个原因。...原创 2018-02-25 20:17:47 · 3927 阅读 · 0 评论 -
贝叶斯规则(Bayes’ rule)
Bayes定理可表述为:后验概率 = (相似度*先验概率)/标准化常量也就是说,后验概率与先验概率和相似度的乘积成正比。另外,比例P(B|A)/P(B)也有时被称作标准相似度(standardised likelihood),Bayes定理可表述为:后验概率 = 标准相似度*先验概率...原创 2018-02-25 20:38:18 · 13852 阅读 · 0 评论 -
信息论-Shannon entropy-Kullback-Leibler (KL) divergence-cross-entropy
信息论是应用数学的一个分支,主要研究的是对一个信号包含信息的多少进行量化。信息论的基本想法是一个不太可能的事件居然发生了,要比一个非常可能的事件发生,能提供更多的信息。消息说:‘‘今天早上太阳升起’’ 信息量是如此之少以至于没有必要发送,但一条消息说:‘‘今天早上有日食’’ 信息量就很丰富。熵由 (p − 1) log(1 − p) − p log p 给出。当 p 接近 0 时,分布几乎是确定的...原创 2018-02-25 20:54:17 · 300 阅读 · 0 评论