Chernoff Bound（切诺夫界）以及信道编码中的Gilbert-Varshamov Theorem

最新推荐文章于 2023-05-17 20:48:06 发布

weixin_41830437

最新推荐文章于 2023-05-17 20:48:06 发布

阅读量3.5k

点赞数 3

文章标签：信息传输

本文链接：https://blog.csdn.net/weixin_41830437/article/details/105453737

版权

一、切诺夫界的定义：

二、切诺夫界在信道编码中的应用

切诺夫界被用来证明Gilbert-Varshamov Theorem。

信道编码应用的场景是这样的：在发送一段长度为n比特的信息的时候，由于每个比特都有一定的概率发生传输错误，因此需要冗余编码，来降低信息错误的概率。

最简单的方法就是每一个比特的信息重复几次。例如把（01001）编码为（000111000000111），这样即使传输错误把（000）变成了（010），依然可以被接收方纠错解码为0。

换言之，信道编码通过把长度为n的0-1串 $\left \{ {0,1}\right \}^{n}$ ，编码为长度为m(m>n)的0-1串 $\left \{ {0,1} \right \}^{m}$ ，降低了传输错误的概率。

假设单个码字的错误率 $\frac{\delta}{2} \in \left ( {0,\frac{1}2{}} \right )$ ，我们希望每一个正确编码的长度m的0-1串两两之间的hamming distance至少是 $\delta m+1$ ，即可以容错 $\frac{\delta}{2}m$ 位。那么如何找到最小的冗余编码长度m呢？Gilbert-Varshamov Theorem用概率的方法证明了，当n足够大时：

${m=\frac{2n} {1-H(\delta)}}$

其中 ${H\left ( \delta \right ) = -\left [ \delta {ln} \left ( \delta \right ) \left +( 1-\delta \right ){ln}\left ( 1-\delta \right )\right ]}$

证明：

从 ${\left \{ 0,1 \right \}^{m}}$ 中随机抽取两个0-1串 ${s_{1}},{s_{2}}$ ，那么二者的hamming distance小于等于 $\delta m$ 的概率

${Pr \left \{ d_{H}\left ( s_{1},s_{1} \right )\leq \delta m \right \}= \frac{1}{2^{m}}\sum_{k=0}^{\delta m}\begin{pmatrix} m\\ k \end{pmatrix}}$

可以设随机变量 $X_{i}=\left\{\begin{matrix} 1,s_{1}[i]\neq s_{2}[i]\\ 0,s_{1}[i]= s_{2}[i] \end{matrix}\right.,i=1,2,...,m$

由Chernoff Bound的第二个式子得出， ${Pr\left \{ X\leq \delta m \right \} }\leq exp\left \{ -mH_{\frac{1}{2}} \left ( 1-\delta \right )\right \}= exp\left \{ m\left ( H\left ( \delta \right )-ln2 \right ) \right \}= \left \{ \frac{exp\left \{ H\left ( \delta \right ) \right \}}{2} \right \}^{m}\leq 2^{-m\left ( 1-H\left ( \delta \right ) \right )}$

因此， $\binom{2^{n}}{2}$ 个pairs中，出现一对0-1串使得它们的hamming distance $\leq \delta m$ 的概率，不超过 $2^{2n}\cdot 2^{-m\left [ 1-H\left ( \delta \right ) \right ]}$

其中第一项是由于 $\binom{2^{n}}{2}\leq 2^{2n}$ 。

为啥不超过呢，是因为对每个pair $\left ( s_{1} , s_{2}\right )$ 来说，可以把它们的距离 $D_{H}\left ( s_{1},s_{2} \right )\leq \delta m$ 的情况看成一个集合，而集合的并集的元素个数不超过每个集合的元素个数之和。

这样只需要令m满足 $2^{2n-m[1-H\left ( \delta \right )]}< 1$ 即可。因为这表示一定存在一种将 $\left \{ 0,1 \right \}^{n}$ 编码为 $\left \{ 0,1 \right \}^{m}$ 的方式，使得新的编码可以容错 $\frac{\delta}{2}m$ 位。

然而，这个证明是一个存在性证明。也就是说，我们还是不知道怎么找到这样的编码方式。

一种比较常用的构造性的编码是Hamming码。在此就不介绍了（其实是还没学到）。

weixin_41830437

关注

3
点赞
踩
8

收藏

觉得还不错? 一键收藏
3
评论
Chernoff Bound（切诺夫界）以及信道编码中的Gilbert-Varshamov Theorem

一、切诺夫界的定义：二、切诺夫界在信道编码中的应用切诺夫界被用来证明Gilbert-Varshamov Theorem。信道编码应用的场景是这样的：在发送一段长度为n比特的信息的时候，由于每个比特都有一定的概率发生传输错误，因此需要冗余编码，来降低信息错误的概率。最简单的方法就是每一个比特的信息重复几次。例如把（01001）编码为（000111000000111），这样即使传...
复制链接

扫一扫