国科大2021信息论考试回忆

1.（1）最大离散熵定义及证明。k个符号最大离散熵及分布。
（2）证明任意X,Y,Z概率分布，有三角不等式成立:H(X|Y)+H(Y|Z)≥H(X|Z)。
2.
3.（6,3）汉明码给了H校验矩阵求
（1）信息位k，编码位数n，码字数目
（2）生成矩阵G
（3）码字向量
（4）给了一个接收向量r，求伴随式及译码结果
4.三元等概分布信源，求
（1）Dmin和R（Dmin），此时的信道转移矩阵
（2）Dmax和R（Dmax），此时的信道转移矩阵
（3）D=1/8时，每一个符号编码需要的bits
5.给了两个信道概率转移矩阵，已说明等概分布信道容量最大（1）（2）两问求信道容量
（3）比较两个信道容量大小