香农编码及十进制小数转换为二进制（Python实现）

香农编码

前段时间在《信息论与编码》这门课中学习了各种编码方式，这里记录一下香农码。

设离散无记忆信源$\left(\begin{array}{c}X\\ P(X)\end{array}\right)=\left(\begin{array}{cccc}{a}_1& a_2& \dots & a_n\\ p(a_1)& p(a_2)& \dots & p(a_n)\end{array}\right)$，$0\le p(a_i)\le 1$，${\sum }_{i=1}^{n}p(a_i)=1$。

编码步骤：

1. 将信源符号按概率从大到小的顺序排列。不妨令$p(a_1)\ge p(a_2)\ge \dots \ge p(a_n)$。
2. 令$p(a_0)=0$，用$p_a(a_j)(j=i+1)$表示第i个码字的累加概率，

$$p_a(a_j)=\sum _{i=0}^{j-1}p(a_i),j=1,2,\dots ,n$$

3. 确定满足下列不等式的整数$k_i$，并令其为第i个码字的长度

$$-{\log }_{2}p(a_i)\le k_i<1-{\log }_{2}p(a_i)$$

4. 将$p_a(a_j)$用二进制表示，并取小数点后$k_i$位作为符号$a_i$的编码。

举例

对单符号离散无记忆信源$\left(\begin{array}{c}X\\ P(X)\end{array}\right)=\left(\begin{array}{ccccccc}{a}_1& a_2& a_3& a_4& a_5& a_6& a_7\\ 0.2& 0.19& 0.18& 0.17& 0.15& 0.1& 0.01\end{array}\right)$编香农码，计算编码效率。

$a_i$	$a_1$	$a_2$	$a_3$	$a_4$	$a_5$	$a_6$	$a_7$
$p(a_i)$	0.2	0.19	0.18	0.17	0.15	0.1	0.01
$p_a(a_j)$	0	0.2	0.39	0.57	0.74	0.89	0.99
$k_i$	3	3	3	3	3	4	7
码字	000	001	011	100	101	1110	1111110

$$\eta =\frac{H(X)}{{\sum }_{i=1}^{7}p(a_i)k_i}\approx 83.08\%$$

由此可见，香农码的编码效率其实并不高。

小数十进制转二进制

由此可见，编香农码重要的一步是要把累加概率求二进制数。而这其实也不难，分别回顾一下小数和整数的转换方法。

1. 整数部分：除以2取余数，直到商为0为止。
2. 小数部分：乘以2取整数，直到小数为0(或到达要求精度)为止。

Python实现

学习完香农码和小数转二进制的方法后，就要开始写作业了。看着一大堆概率在我眼前等着我去算，就瞬间没劲了。

这个时候，我想起了大师Larry Wall的名言：

优秀程序员应该有三大美德：懒惰、急躁和傲慢。

其中，懒惰，是一种品质，它会使你花很大力气去规避过度的精力消耗，敦促你写出节省体力的程序。

没错，有计算机为什么我还要手算小数二进制，而且Python不是有bin()吗，直接用啊！

然后就报错了：

之前都没有试过，难道说bin()只能转换整型数吗？结果一查还真是这样。

怎么办呢？既然已经知道了原理，那当然是自己写啊！

def enhanced_bin(num: float, has_prefix=True) -> str:
    """
    加强版的bin()
    :param num: 转换为二进制的数
    :param has_prefix: 是否需要"0b"前缀
    :return: 返回二进制字符串
    """
    zheng = int(num)
    # 整数直接转换
    if zheng == num:
        if has_prefix:
            return bin(num)
        else:
            return bin(num)[2:]
    xiao = num - zheng
    zheng = bin(zheng)
    xiao_str = ''
    # 小数每次乘2取个位
    while xiao:
        xiao *= 2
        xiao_str += str(int(xiao))
        if xiao >= 1:
            xiao -= 1
    if not has_prefix:
        zheng = zheng[2:]
    return zheng + '.' + xiao_str

再来测试一下：

arr = [2, 32, 34453, 56675766567, 1.2, 0.5, 0.25, 0.24, 0.125, 3483939.22, 3483939, 0.22]
for i in arr:
    print(enhanced_bin(i, has_prefix=False))

测试结果：

成功完成任务！