![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
信息论
文章平均质量分 90
无机肥料
这个作者很懒,什么都没留下…
展开
-
信息论:信道编码
Hamming code原创 2021-01-06 22:48:44 · 1269 阅读 · 0 评论 -
信息论:数据压缩和信源编码
信源编码的效率信源编码器的 efficiency 为:其中 H(A) 是信源的熵,L 是编码后的 average codeword length示例原创 2021-01-02 22:41:31 · 1663 阅读 · 0 评论 -
信息论:熵
定义熵用于表述一个随机变量的不确定性一个随机变量 X 的熵 H(X) 的计算方式为:原创 2020-12-31 14:57:30 · 2074 阅读 · 0 评论 -
信息论:信息量的计算
信息量的大小由这条信息消除了多少可能性决定信息量在某些情况下是可加的,比如:得知一个六面骰子投掷三次的结果所包含的信息量,是得知投掷一次的结果的三倍用数学表达的话,可以假设可能的结果为 r投掷一次骰子可能产生的结果有 6 种,即 r = 6投掷三次骰子可能产生的结果有 636^363 种,即 r = 216可以得到:logb63=3⋅logb6log_b6^3=3\cdot log_b6logb63=3⋅logb6如此一来,我们便得到了信息量的表达式:其中 r 是 U 可能产生的结果原创 2020-09-22 18:09:15 · 7659 阅读 · 0 评论 -
信息论:Probability
定义:Experiment: 投出骰子Event:结果Sample space:可能的 outcomes 的集合Random variableRV,通常用 X 表示,是一个函数这个函数可以将一个实数 x 分配给一个 outcome o,即:X(o)=xX(o)=xX(o)=x其中,P(X=x)P(X=x)P(X=x)是随机变量 X 取值为 x 的概率多个 outcome 可能会映射到同一个实数 x,但不同的数不能分配给同一个 outcome每个 RV 有他的 range,如果这个 ran原创 2020-09-22 16:47:39 · 322 阅读 · 0 评论