6.1 基本概念
熵越大,无序性越大。
6.2 最大熵理论的由来
因为这是一个孤立系统。
6.3 最大熵原理
从倒数第三行到倒数第二行:
倒数第三行 = ∑ x λ 0 p ( x ) + ∑ x p ( x ) ∑ i λ i f i ( x ) = λ 0 + ∑ i λ i ∑ x p ( x ) f i ( x ) = λ 0 + ∑ i λ i C i 不依赖于分布 p ( x ) = ∑ x λ 0 p ^ ( x ) + ∑ x p ^ ( x ) ∑ i λ i f i ( x ) = 倒数第二行 \begin{aligned} \text{倒数第三行}&=\sum_{x}\lambda_0 p(x)+\sum_{x}p(x)\sum_{i}\lambda_i f_i(x)\\ &=\lambda_0+\sum_i\lambda_i\sum_xp(x)f_i(x)\\ &=\lambda_0+\sum_i\lambda_i C_i\qquad\text{不依赖于分布 }p(x)\\ &=\sum_{x}\lambda_0 \hat{p}(x)+\sum_{x}\hat{p}(x)\sum_{i}\lambda_i f_i(x)\\ &=\text{倒数第二行} \end{aligned} 倒数第三行=x∑λ0p(x)+x∑p(x)i∑λifi(x)=λ0+i∑λix∑p(x)fi(x)=λ0+i∑λiCi不依赖于分布 p(x)=x∑λ0p^(x)+x∑p^(x)i∑λifi(x)=倒数第二行
6.4 最小鉴别信息原理
距离要满足四个条件:非负性、仅在相等时为0、对称性、满足三角不等式
6.5 最大熵原理的应用