![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
概率论和信息论
Vic_Hao
这个作者很懒,什么都没留下…
展开
-
高斯过程(Gaussian Process)
Introduction要了解GP的本质及其描述方法。将GP和贝叶斯概率结合在一起,可以构造强大的数学模型。高斯过程的一些优势:GP属于无参数模型,相对解决问题的复杂度及与其它算法比较减少了算法计算量。GP可以解决高维空间(实际上是无限维)的数学问题,可以面对复杂的数学问题。结合贝叶斯概率算法,可以实现通过先验概率,推导未知后验输入变量的后验概率。由果推因的概率。GP观测变量空间是连续...原创 2020-04-19 21:51:55 · 4357 阅读 · 0 评论 -
高斯混合模型(GMM)
Reference:http://blog.sina.com.cn/s/blog_a36a563e0102y2ec.html转载 2019-06-11 17:22:28 · 166 阅读 · 0 评论 -
信息论基础
引言所谓的信息,就是以前不知道现在知道的事实,如果某件事以前就知道,当别人再告诉你时,你会忽略,这件事对你的认知没有任何影响,这就不叫信息,反之,如果某件事以前你不知道,有人告诉你了,你现在知道了,那么对你而言,这件事就是信息。让我们更进一步,看一件事带来的信息量的大小如何来度量。顾名思义,信息量就是度量信息大小的一种量,让我们看一个形象的例子。有人告诉你巴西赢了世界杯,那么这件事对大多数人而...原创 2019-03-06 19:27:45 · 681 阅读 · 0 评论 -
无偏估计
Reference:https://www.cnblogs.com/notwice/p/8538539.htmlhttps://blog.csdn.net/ccnt_2012/article/details/82715415https://www.matongxue.com/madocs/607.html原创 2019-03-08 14:26:25 · 647 阅读 · 0 评论 -
随机过程(random process)
随机过程是依赖于参数的一族随机变量的全体,参数通常是时间。随机变量是随机现象的数量表现,其取值随着偶然因素的影响而改变。 例如,某商店在从时间t0t0t_{0}到时间tktkt_{k}这段时间内接待顾客的人数,就是依赖于时间ttt的一族随机变量,即随机过程。一般来说,把一组随机变量定义为随机过程。在研究随机过程时人们透过表面的偶然性描述出必然的内在规律并以概率的形式来描述这些规律,从偶然...原创 2018-09-08 13:28:57 · 3669 阅读 · 0 评论 -
采样方法
Why Sampling一般来说,采样的目的是评估一个函数在某个分布上的期望值。 Ex∼p[f(x)],p is a distributionEx∼p[f(x)],p is a distributionE_{x\sim p}[f(x)], \textit{p is a distribution}Sampling Method...原创 2018-08-07 10:52:35 · 424 阅读 · 0 评论 -
频率和概率
我们首先来看一个常见的误区。当我们抛一门硬币50次的时候,出现20次正面朝上,30次反面朝下,我们有些同学会说,正面朝上的概率是2/5,这就是典型的将频率和概率没有区分出来。在上面这个例子中,关于20次出现正面朝上,只能说正面朝上的频率是2/5,而不能说概率是多少多少。因为概率是理想值,频率是实验值;例如抛理想均等硬币10000次正反面出现正面的频率是0.5-+,其中-+表示误差。...转载 2018-06-09 16:46:52 · 5467 阅读 · 0 评论 -
边缘概率
有时候,我们知道了一组变量的联合概率分布,但想要了解其中一个子集的概率分布。这种定义在子集上的概率分布被称为边缘概率分布(marginal probability distribution)。例如,假设我们知道离散型随机变量xx\textrm{x}和yy\textrm{y},并且我们知道P(x,y)P(x,y)P\left ( \mathrm{x},\mathrm{y} \right )。我们...原创 2018-05-16 21:47:51 · 4855 阅读 · 0 评论 -
随机变量和概率分布
随机变量是可以随机的取不同值的变量。就其本身来讲,一个随机变量只是对可能状态的描述;它必须伴随一个概率分布来指定每个状态的可能性。随机变量可以是连续的或者离散的,离散随机变量拥有有限或者可数无限多的状态。注意这些状态并非一定是整数,它们也可能只是一些被命名的状态而没有数值。连续随机变量伴随着实数值。概率分布用来描述随机变量或者一簇随机变量在每一个可能取到的状态的可能性大小。我们描述概率分布的方...原创 2018-05-16 20:28:07 · 3849 阅读 · 0 评论 -
概率论与信息论 前言
概率论是用于表示不确定性声明的数学框架。 概率论使我们能够提出不确定性声明以及在不确定性存在的情况下进行推理,而信息论使我们能够量化概率分布中的不确定性总量 几乎所有的活动都需要一些在不确定性存在的情况下进行推理的能力。事实上,除了那些定义为真的数学声明,我们很难认定某个命题是千真万确的或者确保某件事一定会发生。 不确定性有三种可能的来源:被建模系统内的随机性不完全观测。即使是确定的...原创 2018-05-16 11:57:36 · 365 阅读 · 1 评论 -
常用概率分布
许多简单的概率分布在众多领域中都是有用的。混合分布模型原创 2018-05-19 21:15:38 · 1563 阅读 · 0 评论 -
期望,方差和协方差
1.期望函数f(x)f(x)f(x)关于某分布P(x)P(x)P(\mathrm{x})的期望或期望值是指,当xxx由PPP产生,fff作用于xxx时,f(x)f(x)f(x)的平均值。 对于离散型随机变量,我们可以通过求和得到: Ex∼P[f(x)]=∑xP(x)f(x)Ex∼P[f(x)]=∑xP(x)f(x)\mathbb{E}_{x\sim P}[f(x)]=\sum_{x}P(x...原创 2018-05-19 20:54:49 · 1464 阅读 · 0 评论 -
条件概率
1.条件概率 某个事件在给定其它事件发生时出现的概率被称为条件概率。我们将给定x=xx=x\mathrm{x}=x,y=yy=y\mathrm{y}=y的条件概率记为P(y=y∣x=x)P(y=y∣x=x)P(\mathrm{y}=y\mid \mathrm{x}=x),这个条件概率可以通过下列公式计算: P(y=y∣x=x)=P(x=x,y=y)P(x=x)P(y=y∣x=x)=P(x=x,...原创 2018-05-17 15:43:07 · 2935 阅读 · 0 评论