计算熵引发的一些讨论
如下公式为:
f(p1,…,pn)=∑ni=0pi∗logpi
,其中
∑ni=0pi=1,且pi<pi+1
这个式子在
p1=p2=...=pn
处取得最小值.
其中证明的方式是,构造一个序列,
(p11,…,p1n)
到
(pk1,…,pkn)
.
构造方法是通过局部调整
pi,pi+1
的大小。
令e=∑ni=0pin
,则
(p21,…,p2n)=(e,p11+p12−e,…,p1n)
(p31,…,p3n)=(e,e,p22+p23−e,…,p2n)
(pn−11,…,pn−1n)=(e,e,…,e)
而可以很轻易的证明
f(pi1,…,pin)>f(pi+11,…,pi+1n)
(原问题从而转化成该问题)
从而证明到对于任意的
p1,…,pn,f(p1,…,pn)>f(e,…,e)
但是这种证明方式基于一种幸运之上。因为正好存在这种构造序列的方法,并且这种构造能够轻易证明。
如果我现在假定,构造序列只允许如下操作,对序列中两个数做一次平均操作,即对任意的
pi,pj
可以构造成
pi+pj2,pi+pj2
,即
(pk1,…,pki,…,pkj,…,pkn)
只能转化成
(pk+11,…,pk+1j+pk+1j2,…,pk+1j+pk+1j2,…,pk+1n)
。
怎么通过有规律的执行该操作来构造序列,经过无限次操作后,序列能够达到(e,e,…,e)的极限,且
f(pi1,…,pin)>f(pi+11,…,pi+1n)
。
下面构造一种方法,符合上面的条件。
反复执行如下操作(记为A):
1. p1,p2进行平均
2. p2,p3进行平均
…
n-1. pn−1,pn进行平均
最终会达到极限(e,e…e).注意到A操作事实上是一个线性变换,所以A是一个矩阵。所以
An会达到如下极限
这个收敛的证明方式,尚且不知。
事实上,上述证明方法是一种很一般的方法的特殊应用。
记M是一个向量空间。v是M空间中的一个元素,g将v映射到一个数域空间,g(v)称之为v的标量。p是关于v的谓词,记为p(v).
m将v映射到M中的另一个元素。
则用m构造一个序列
(v1,v2,…,vn)
,
要证明
p(vn)
,即证明
p(v1)成立,且p(vi)成立,则p(vi+1)成立
,事实上这是数学归纳法
要证明
g(vn)>g(v1)
,即证明
对任意的i,g(vi)>g(vi−1)
.
这种证明的方式,本质上利用了向量空间的性质。