2401_85853598的博客

原创 互信息I(X； Y)是输入分布p(x)的上凸函数

H{p_λ}(Y|X) = λH{p₁}(Y|X) + (1-λ)H_{p₂}(Y|X) （H(Y|X)的线性性）H{p_λ}(Y) ≥ λH{p₁}(Y) + (1-λ)H_{p₂}(Y) （H(Y)的凹性）Y)是关于输入分布p(x)的凹函数。这表明 H(Y) 是关于输入分布 p(x) 的凹函数。H(Y|X) 是线性的（因为 p(y|x)固定）。Y) 是输入分布 p(x) 的。Y)是输入分布p(x)的。：H(Y|X)是p(x)的线性函数。H(Y|X)是给定X时Y的条件熵（H(Y) 是输出 Y 的熵（