信息安全密码学必备知识：商农（Shannon）信息理论，信息熵和完全保密性

熵的概念在信息理论中的应用

在上一篇中已经引出了熵的概念及其公式，在进一步介绍密码学的密码理论之前，先由熵的概念以数学的方式表达密码系统中的定义。

以下所提到的“未知信息量”，“不确定性”，“熵值”指的是同一值，即熵。

信息熵

设M = { m_i , m₂ ，… , m_n }为明文空间，m_i 出现的概率为 P(m_i) ，由此定义信息熵：$$H(M)=-\sum _{m_i\in M}P(m_i)\times {\log }_{2}P(m_i)$$ 表示为从明文空间M中取一份发送给接收者的不确定性的度量

密钥熵

设K = { k_i , k₂ ，… , k_n }为明文空间，k_i 出现的概率为 P(k_i) ，由此定义信息熵：
$$H(K)=-\sum _{k_i\in K}P(k_i)\times {\log }_{2}P(k_i)$$ 表示对密钥的不确定性的度量

条件熵（暧昧度）

密文用 C 表示，条件熵是密码学中最符合实际情况的，即在已获得某些密文的情况下，明文和密钥的不确定性的度量，明文不确定性数学表达为：
$$H(M|c)=-\sum _{m_i\in M}P(m_i|c)\times {\log }_{2}P(m_i|c)$$$P(m_i|c)$ 表示在知道密文c的情况下，是m_i的概率。
密文不确定性数学表达式：
$$H(K|c)=-\sum _{k_i\in K}P(k_i|c)\times {\log }_{2}P(k_i|c)$$$P(k_i|c)$ 表示在知道密文c的情况下，是k_i的概率。

理论上的完全保密性

考察的是唯密文攻击方法平均所能获得的最大信息量。
$I(M;C)=0$ 则称该密码是完全保密的
M是明文空间
C是密文空间
现实意义为，在知道密文的情况下，关于M的信息量。
可参见上一篇的这张图：详细信息

与完全保密的等价的条件：

1. 一个密码体制是完全保密的
2. $I(M|C)=0;（意思是明文和密文不互相提供信息）$
3. $H(M|C)=H(M);（知道密文的情况下，不能降低原明文的熵）$
4. $H(C|M)=H(C);（知道明文的情况下，不能降低原密文的熵）$
5. ${\forall }_a\in M,{\forall }_b\in C有P(m=a|c=b)=P(m=a);(当P(c=b)\ne 0时)$ 意思是在已知密文b的情况下m=a的概率，与不知道的情况下 m=a的概率相同

定理：（M是明文空间，C是密文空间，K是密钥空间）
$$\begin{gathered} H(K|C)=H(M|C)+H(K|M,C); \\ 已知密文C的的条件下，密钥K的未知信息量= \\ 已知密文的情况下，明文的未知信息量+ \\ 已知明文M和密文C的条件下，密钥K的未知信息量 \end{gathered}$$
$$\begin{gathered} 根据实际要有，H(M|C,K)=0; \\ 即已知密文和密钥的条件下，其明文的不确定性必须为0； \end{gathered}$$

推论：

1. $H(K|C)\ge H(M|C)$
2. $I(M;C)\ge H(M)-H(K)$

此式很重要，说明$H(K)$越大，$I(M|C)$就越小，表明密文C中含有明文M的信息量也就越小。当满足了$I(M|C)=0；的时候，称为该密码系统是完全保密的。$也称无条件保密的。即无论截获多少密文，对明文的信息量总是0；
要使得本式成立，$H(M)-H(K)的值必须小于I(M;C)$的最小值0,
故而，($H(M)-H(K)$)的值只能是负数。

3. 完全保密的必要条件是：$H(K)\ge H(M);$（密钥的不确定性（熵值）要大于明文的不确定性（熵值），即破译密钥的难度要大于破解明文的难度）
4. 完全保密的充要条件：

• 将每一个明文加密成每一个密文的密钥只有一个
  m_i+k_i=c_i $知道明文m_i和密钥k_i仅能得到一个密文c_i$
• 所有密钥都是等概率的

由密文C求不出密钥K的任何信息的充要条件：

$形式化表达式：H(K|C)=H(K)+H(M)-H(C)$
$$\begin{gathered} 直观涵义: \\ 获取密文C后密钥K的未知信息量等于 \\ 明文M与密文C的未知信息量减去从已知密文C中获得的信息量 \end{gathered}$$

证明：
$$\begin{gathered} H(K|C) \\ =H(K,C)-H(C) \\ =H(K,M)-H(C) \\ =H(K)+H(M)-H(C)（依据：H(X,Y)=H(X)+H(Y)） \\ H(K,C)=H(K,M)因为密钥和明文密文都是相互独立的 \end{gathered}$$

$推论：H(K|C)=H(K)等价于H(M)=H(C)$
$$\begin{gathered} 直观涵义: \\ 截获密文对求解密钥没有任何帮助等价于 \\ 明文包含的未知信息量=密文包含的未知信息量 \end{gathered}$$

由密文C唯一确定密钥K的充要条件：（唯一解码量，唯一解距离）

$$\begin{gathered} 表达为：H(K|C)=0 \\ 因此：H(K)+H(M)-H(C)=0 \end{gathered}$$
$$\begin{gathered} 直观涵义: \\ 密文C的信息量达到了一定的数量，使得H(K)+H(M)=H(C) \\ （密钥K的未知信息量和明文M的未知信息量之和同密文C的未知信息量相同时） \\ 就可以确定对应的明文和密文。 \\ 这样，我们将密钥唯一确定所需要的最少的密文字符数，称唯一解码量或唯一解距离 \end{gathered}$$

理论上，当截获的密文数量大于唯一解码量的时候，原则上就可以对该密码系统进行破解。
但实际上，唯一解码量仅是一个理论值，一般破译密码系统所需要的密文量都远大于唯一解码量。