- 博客(6)
- 收藏
- 关注
RSS订阅转载 红黑树
一 定义1 每个结点是红色或是黑色2 根结点是黑色3 每个叶结点是黑色（这里所说的叶结点是空结点,不带任何数据。这样定义之后每个结点都有两个子节点，只是可能两个都是空的）4 如果一个结点是红的，则它的两个子节点是黑的，即在树上不可能有两个连续的红色结点5 每个结点到其叶子结点的所有路径上包含相同数量的黑色结点二 红黑树因为插入或删除等操作造成上述五个定义不满足时可以通过左旋或右旋或变色来重新达到要求三 插入（插入结点一定是红色）若插入结点的夫结点是黑色，则五个定义都满足，故只考虑插入结点的父
2020-06-06 10:13:36
117
原创 率失真编码
精确的解决单个随机变量的量化问题相当复杂，一个连续随机信源需要无限的精确度才可以准确的表示，我们需要解决的问题是对于任何给定的数据码率，寻求最好的可能表示。对服从高斯分布的n个独立同分布的随机变量集合，用nR比特表示，假如分开处理每个元素的表示显得像一个独立的问题，率失真编码告诉我们用长度为n的序列，在相同的码率下对整个序列同时处理的方法比单个样本独立量化所得的失真更低。n个随机变量的失真定义。...
2020-03-15 11:25:16
609
原创 算术编码
对于编码分布已知的随机变量，只需要一个字符接一个字符的进行，采用霍夫曼编码是最优的，但是霍夫曼编码收到码长必须是整数的限制，所以在编码的有效性方面会有多达一个比特/字符的损失，虽然通过分组，能将损失降低到1/n比特/字符，但是随着n的增加编码的复杂性也会增加。在算术编码中，不使用比特序列表示一个区间，而是用单位区间的子区间来表示字符。字符序列的编码是一个区间，它的长度随着增加更多的字符到序列中而减...
2020-03-10 21:21:17
203
原创 香农第二定理
之前得到的信道容量的表达式都是一个优化问题的解，在实际中是否存在编解码的方法可达到优化问题的解，香农第二定理即是解决可达性的问题。对信源进行编码，再采用具有统计特性的信道进行传输，信道有噪声，但通过最优化输入信号的分布，可采取某种编码方式，达到信道容量。香农第二定理：证明编码方式的存在性（优化后得到信道容量的最大值，通过编解码器可无差错实现）信道编码：对信道的信道编码输入符号集合编码函数...
2020-03-10 18:39:09
5633
原创 渐近等分特性，典型序列，香农第一定理
AEP:渐近等分特性是独立同分布的随机变量序列，则是以概率意义成立的。这个公式推导依据大数定律和独立同分布特性得到，当n趋于无穷大时。typical set 典型序列关于p(x)的典型集是序列的集合这是基于渐近等分特性的，所以此时的x之间必须独立同分布，且满足下列等式的集合H(X)是这个随机变量的熵，注意不是n个随机变量组成的随机序列的联合熵典型序列有如下性质：后面的编码定理等都是...
2020-03-09 22:29:58
2252
原创 信息论基础知识一（熵，互信息，交叉熵等几个基本概念）
信息来自对随机事件的选择，数据压缩的极限是min I(X;Y),数据传输的极限是max I(X;Y)。信源视作随机过程，用输入的随机变量的概率密度函数来表示，信道看作概率转移矩阵，考虑在噪声情况下p(y|x)的分布。我们通常考虑的是三个问题信源的压缩极限：信源编码定理在一定信道条件下，所能通过信道的最大信息极限：信道编码定理容忍在一定信源压缩失真的条件下，所能得到的最小码率极限：率失真编码...
2020-03-09 20:16:18
874
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人