国科大2018级信息论考试复习

本次信息论考试本人复习一周左右，考试题目略有难度，不过已足以应对，到目前为止没发现有题目做错，大概将我的复习计划以及考试题目的回忆记录如下：

第二章-熵、相对熵、互信息的认识，此章重点关注互信息的链式法则，本次考题第一题为该内容，题目内容大致是：

给定三个变量X、Y、Z相互之间独立，且服从伯努利二项分布（）求H(X,Y,Z)的最小值；并举出相应的例子；（ps:答案为2）

课后习题有类似的题，复习的时候记得看懂课后习题；当然最基本的熵、互信息的计算是必备技能，后续也会用到；

第三章-渐进均分性，此章内容较少，只需要知道典型集及其性质即可，貌似不会考；

第四章-随机过程的熵率，此章必考一阶马尔科夫模型的平稳分布，出题方式有两种，一种是直接给定状态转移概率矩阵，另一种为给定一加权图，通过计算每个节点的入度与出度来求得状态转移矩阵，我们这次是后者，这章对理解PageRank算法有很大的帮助。求得平稳分布，还需要会求熵率H();

第五章-数据压缩，对于Kraft不等式尽量理解，当然没时间的话可以只看Huffman编码，搞清楚Hu