Information theory
Neuzly
这个作者很懒,什么都没留下…
展开
-
随机变量与随机过程详解
随机变量定义:随机变量(random variable)表示随机现象(在一定条件下,并不总是出现相同结果的现象称为随机现象)中各种结果的实质函数(一切可能的样本点)。例如某一时间内公共汽车站等车的人数,电话交换台在一定时间内收到的呼叫次数。详细解析:随机变量就是一个随机的数,它是对任何的“随机的东西”做的量化。下面我们对随机和量化做解释:随机的对象可以是任何东西:明天的天气是晴、阴、雨...原创 2020-03-24 09:20:21 · 6280 阅读 · 0 评论 -
信息熵(Entropy)
Entopy:是自信息的加权平均X是一个在{x1,x2…xn}中取值的离散随机变量,P(X = xi)记作P(xi)。X的信息熵由此可以定义为:H(X) = E( I(xi) ) = -ΣP(xi)log( xi )熵是信源–变量集X自信息的期望信源–变量集X的不确定性的测度信源–变量集X的信息量测度Conditional Entropy:是条件信息的加权平均X、Y是一对随机...原创 2020-03-23 19:42:50 · 1004 阅读 · 0 评论 -
自信息
自信息:描述单个具体事件对应的信息量自信息的感性引入对于单个消息信源,它出现的概率P(xi)越小,它的出现一定使人更加意外,所以由它产生的信息量一定越大,即P(xi)减小,用于衡量它的自信息量应该越大。对于多个不同的消息所提供的信息应等于它们提供信息量之和,即信息满足可加性。因此我们要找到一个函数满足上述两点,即 I[P(xi)] = -logP(xi)自信息的物理含义I[P(x...原创 2020-03-19 14:00:40 · 2141 阅读 · 0 评论