正态分布的读后感

                          

                 随机变量的误差------------服从正态分布

注：随意的一个概率分布中生成的随机序列变量，在序列求和（等价于均值），都服从正态分布。更一般的情况：当X1，X2……XN 不独立，也不具有形同的概率分布形式，很多时候的序列求和的最终归宿也是正太分布。如下图所示：

                                    

[中心极限定理充要条件]  假设独立随机变量序列  的中值为0, 要使序列和 的分布函数逼近正态分布，以下条件是充分必要的:

        1. 如果  相对于序列和S的散布(也就是标准差)是不可忽略的，则 的分布必须接近正态分布。

        2. 对于所有可忽略的  , 取绝对值最大的那一项，相对于可忽略项这个子序列和的散布，这个绝对值也是可忽略的。

      事实上这个充分必要条件发现的优先权，Feller 和 Levy 之间还出现了一定的争论。 在 Levy 证明这个充分必要条件的过程中， Levy发现了正态分布的一个有趣的性质。 我们在数理统计中都学过，如果两个独立随机变量 X,Y具有正态分布，则S=X+Y也具有正态分布。奇妙的是这个定理的逆定理也成立。

 

[正态分布的血统] 如果 X,Y是独立的随机变量，且 S=X+Y是正态分布，那么 X,Y也是正态分布。

       统计学面对的是统计数据，是对多个不同对象的测量；而误差分析研究的是观测数据， 是对同一个对象的多次测量。因此观测数据和 统计数据在当时被认为两种不同行为获取得到的数据，适用于观测数据的规律未必适用于统计数据。

       Quetele：提出把一批数据是否能很好地拟合正态分布，作为判断该批数据同质的依据。

    

      

         如下图中每一点表示钉在板上的一颗钉子，它们彼此的距离均相等。 当小圆球向下降落过程中，碰到钉子后皆以 1/2的概率向左或向右滚下。 如果有n排钉子，则各槽内最终球的个数服从二项分布 B(n,1/2) 当n较大的时候，接近正态分布。

                             

        设想在此装置的中间某个地方 AB 设一个挡板把小球截住，小球将在AB处聚成正态曲线形状，如果挡板上 有许多阀门，打开一些阀门，则在底部形成多个大小不一的正态分布，而最终的大正态分布正式这些小 正态分布的混合。

                               

在《Probability Theory, the Logic of Science》提出了两个问题:

为什么正态分布被如此广泛的使用？

为什么正态分布在实践使用中非常的成功？

E.T. Jaynes 指出，正态分布在实践中成功的被广泛应用，更多的是因为正态分布在数学方面的具有多方面的稳定性质，这些性质包括：

         1. 两个正态分布密度的乘积还是正态分布

         2. 两个正态分布密度的卷积还是正态分布，也就是两个正态分布的和还是正态分布

         3. 正态分布的傅立叶变换还是正态分布

        4. 中心极限定理保证了多个随机变量的求和效应将导致正态分布

        5. 正态分布和其它具有相同均值、方差的概率分布相比，具有最大熵

       我们在实践中为何总是选择使用正态分布呢，正态分布在自然界中的频繁出现只是原因之一。Jaynes 认为还有一个重要的原因 是正态分布的最大熵性质。在很多时候我们其实没有任何的知识知道数据的真实分布是什么， 但是一个分布的均值和方差往往是相对稳定的。因此我们能从数据中获取到的比较好的知识就是均值和方差， 除此之外没有其它更加有用的信息量。因此按照最大熵的原理，我们应该选择在给定的知识的限制下，选择熵最大的概率分布，而这就恰好是正态分布。即便数据的真实分布不是正态分布，由于我们对真实分布 一无所知，如果数据不能有效提供除了均值和方差之外的更多的知识，那这时候正态分布就是最佳的选择。

        高尔顿他对正态分布非常的推崇与赞美,1886 年他在人类学研究所的就职演讲中说过一段著名的话：“我几乎不曾见过像误差呈正态分布这么美妙而激发人们无穷想象的宇宙秩序。 如果古希腊人知道这条曲线，想必会给予人格化乃至神格化。它以一种宁静无形的方式在最野性的混乱中实施严厉的统治。 暴民越多，无政府状态越显现， 它就统治得越完美。他是无理性世界中的最高法律。当我们从混沌中抽取大量的样本，并按大小加以排列整理时， 那么总是有一个始料不及的美妙规律潜伏在其中。”