计算熵引发的一些讨论

计算熵引发的一些讨论

如下公式为：$f(p_1,\ldots,p_n)=\sum_{i=0}^n p_i*log \, p_i$,其中$\sum_{i=0}^n p_i=1，且p_i<p_{i+1}$
这个式子在$p_1=p_2=...=p_n$处取得最小值.
其中证明的方式是，构造一个序列，$(p_1^1,\ldots,p_n^1)$到$(p_1^k,\ldots,p_n^k)$.
构造方法是通过局部调整$p_i,p_{i+1}$的大小。$令e=\dfrac{\sum_{i=0}^n p_i}{n}$,则
$(p_1^2,\ldots,p_n^2)=(e,p_1^1+p_2^1-e,\ldots,p_n^1)$
$(p_1^3,\ldots,p_n^3)=(e,e,p_2^2+p_3^2-e,\ldots,p_n^2)$
$(p_1^{n-1},\ldots,p_n^{n-1})=(e,e,\ldots,e)$
而可以很轻易的证明$f(p_1^i,\ldots,p_n^i)>f(p_1^{i+1},\ldots,p_n^{i+1})$(原问题从而转化成该问题）
从而证明到对于任意的$p_1,\ldots,p_n,f(p_1,\ldots,p_n)>f(e,\ldots,e)$
但是这种证明方式基于一种幸运之上。因为正好存在这种构造序列的方法，并且这种构造能够轻易证明。
如果我现在假定，构造序列只允许如下操作，对序列中两个数做一次平均操作，即对任意的$p_i,p_j$可以构造成$\dfrac{p_i+p_j}{2},\dfrac{p_i+p_j}{2}$,即$(p_1^k,\ldots,p_i^k,\ldots,p_j^k,\ldots,p_n^k)$只能转化成$(p_1^{k+1},\ldots,\dfrac{p_j^{k+1}+p_j^{k+1}}{2},\ldots,\dfrac{p_j^{k+1}+p_j^{k+1}}{2},\ldots,p_n^{k+1})$。
怎么通过有规律的执行该操作来构造序列，经过无限次操作后，序列能够达到(e,e,…,e)的极限，且$f(p_1^i,\ldots,p_n^i)>f(p_1^{i+1},\ldots,p_n^{i+1})$。
下面构造一种方法，符合上面的条件。
反复执行如下操作(记为A)：

1.$p_1,p_2进行平均$
2.$p_2,p_3进行平均$
…
n-1.$p_{n-1},p_{n}进行平均$

最终会达到极限(e,e…e).注意到Ａ操作事实上是一个线性变换，所以Ａ是一个矩阵。所以$A^n会达到如下极限$

$$\begin{pmatrix} \dfrac{1}{n} &\cdots & \dfrac{1}{n}\\ \vdots & \cdots & \vdots \\ \dfrac{1}{n} & \cdots & \dfrac{1}{n}\\ \end{pmatrix}$$
这个收敛的证明方式，尚且不知。

事实上，上述证明方法是一种很一般的方法的特殊应用。
记Ｍ是一个向量空间。v是Ｍ空间中的一个元素，g将v映射到一个数域空间，g(v)称之为v的标量。p是关于v的谓词,记为p(v).
m将v映射到Ｍ中的另一个元素。
则用m构造一个序列$(v_1,v_2,\ldots,v_n)$,
要证明$p(v_n)$,即证明$p(v_1)成立，且p(v_i)成立，则p(v_{i+1})成立$，事实上这是数学归纳法
要证明$g(v_n)>g(v_1)$,即证明$对任意的i,g(v_i)>g(v_{i-1})$.
这种证明的方式，本质上利用了向量空间的性质。