信息论考试要点大纲

信息论考试要点

2.熵平均互信息条件熵联合熵会算

• 熵： H(X)=−∑p(x)logp(x)，度量随机变量X的不确定性。
• 平均互信息： I(X;Y)=H(X)+H(Y)−H(X,Y)，度量X和Y共享的信息量。
• 条件熵： H(X∣Y)=H(X,Y)−H(Y)，度量在已知Y的条件下X的不确定性。
• 联合熵： H(X,Y)=−∑p(x,y)logp(x,y)，度量X和Y联合的不确定性。

3.用什么方法保证：有效/可靠/保密/认证

信源编码是对信源输出的消息进行适当的变换和处理，压缩信源的冗余度来提高信息传输的效率，这是为了提高通信系统的有效性（分为无失真信源编码和限失真信源编码）

信道编码是为了提高信息传输的可靠性而有目的地对信源编码器输出的代码组添加一些监督码元，使其具有纠错和检错的能力。

在实际的通信系统中，可靠性和有效性常常是相互矛盾的，提高有效性必须去掉信源符号的冗余部分，但是这会导致可靠性的下降。而提高可靠性就需要增加监督码元，这又降低了有效性。有时为了兼顾有效性，就不一定要求绝对准确地在接收端再现原来的消息，而是可以允许一定的误差或失真，也就是说允许近似地再现原来的信息。

• 有效性：通过信源编码去除冗余，使用适当的编码技术以最小的比特数表示信息。
• 可靠性：通过信道编码增加冗余，使用错误检测和纠正码来提高传输的可靠性。
• 保密性：使用加密技术来保护信息不被未授权访问。
• 认证：使用数字签名和消息认证码来验证信息的来源和完整性。

4.熵平均互信息的凸性（上凸函数，等概达到最大值）（信道给定就是条件概率给定，上凸函数，最大值是信道容量C，若p(x)给定下凸和未来的有关）

• 熵是随机变量概率分布的凸函数，等概率分布时达到最大值。
• 在信道容量的背景下，熵的凸性表明，给定信道的条件概率下，信道容量C是熵的最大值

5.x连续的时候当总功率给定的时候x均匀分布时熵最大，正态分布和高斯分布时最大

6.信息处理不等式告诉了我们什么？信息是不增的

7.判断/填空/简答

8.信源编码和信道编码定理是什么？讲了什么？编码速率和熵的关系。编码速率要大于熵，比他小不可达0 

信道容量编的越长越可靠 l比n越小小于c错误率会小于0大于c趋于1

1. 不等长编码/异字头码ker不等式/最佳不等长编码Huffman编码（算）二元三元，方差要少/算术编码/lz编码
2. 信道容量计算，对称，准对称，最佳分布是等概率
3. 译码准则最大后验和最大似然