正态分布σ越大图像越_熵显正（从信息熵到正态分布）

=====

谨此文怀念与计算所显震大哥相处的日子，同时逼自己更新一波：从熵到正态分布

期间感谢同学给予的项目机会及 @BKbingo 对积分部分内容的提示

另外这篇文章主要参考博客http://jorbe.sinaapp.com/2017/09/23/variational_and_variational_bayes_methods/

的前半部分并对一些细节加以补充~

=====

熵：

衡量事物混乱程度的变量，该值越大，事物越混乱（混乱程度的数学表示：事物各类状态发生概率基本相同，无法通过概率及经验预测下一次事物的状态）

信息熵的数学表示：

其中

为变量x的概率分布，相关图像如下图所示：

信息熵随样本分布的变化图

正态分布：

概率论数理统计老师说世间万物当数量达到一定程度时都会服从正态分布，根据大数定理，以及数据量较大的伯努利分布、卡方分布，都可看到数据量达到一定程度事物的各个状态都形成了正态分布

正态分布概率密度函数：

熵显正

根据之前概率论数理统计老师说的正态分布定义，数据量庞大带来的是信息混乱程度增加，也即信息熵的增加，也就是说当事物状态进入正态分布情况时，