qq_42562153的博客

原创 离散信源最大熵证明

离散信源最大熵证明我们都知道对于单符号离散信源，信源熵H(X)最大的条件是：X满足均匀分布。准备工作 H(X)=−∑i=1np(xi)∗log(p(xi))H(X)= -\sum_{i=1}^{n}p(x_{i})*log(p(x_{i}))H(X)=−∑i=1n​p(xi​)∗log(p(xi​))…(1) 公式(1) 是信源熵的公式，其中，‘n’ 表示信源发送符号的类型数量，’p(xi)...