正态分布的前世今生总结

原文链接：https://cosx.org/2013/01/story-of-normal-distribution-1

该博文详细介绍了正态分布的起源和发展。

伽利略关于误差的描述：

1.观测数据存在误差；
2.误差是对称分布的；
3.大的误差出现频率低，小的误差出现的频率高。

棣莫弗-拉普拉斯中心极限定理：

二项分布序列求和的极限是正态分布。

更加一般化的中心极限定理：

随意的一个概率分布中生成的随机变量，在序列和(或者等价的求算术平均)的求和之后，统一的规约到了正态分布。

中心极限定理的充要条件：

如果Xi相对于序列和S的散布(也就是标准差)是不可忽略的，则Xi的分布必须接近正态分布。
对于所有可忽略的Xi,取绝对值最大的那一项，这个绝对值相对于序列和也是可忽略的。

正态分布(高斯分布)

拉普拉斯分布也用来描述过误差分布。

正态分布的密度函数是高斯解出来的；所以正态分布又叫高斯分布。
思路：误差分布的极大似然估计是算术平均，最后求得的分布为正态分布。

各界大牛对于正态分布的推导：

天文学赫歇尔，物理学家麦克斯韦：
1.x轴和y轴的误差是相互独立的，随机误差在正交的方向上相互独立。
2.误差的概率分布在空间上具有旋转对称性，即误差的概率分布和角度没有关系。

电气工程师兰登：

1.随机噪声具有稳定的分布模式。
2.累加一个微小的随机噪声，不改变其稳定的分布模式，只改变分布的层级(用方差度量)。

基于最大熵的推导：
给定分布密度函数的均值和方差,所有满足条件的概率分布中，熵最大的分布是正态分布。

并不是所有的数据分析问题都能用正态拟合，所以出现了卡方，F分布，t分布。但这三者都是从正态分布切入的。

正态分布的性质：

两个正态分布密度的乘积还是正态分布
两个正态分布密度的卷积还是正态分布，也就是两个独立正态分布的和还是正态分布
正态分布N(0,σ2)的傅立叶变换正规化为密度分布后还是正态分布
中心极限定理保证了多个随机变量的求和效应将导致正态分布
正态分布和其它具有相同均值、方差的概率分布相比，具有最大熵

数学性质：

二项分布B(n,p)在n很大逼近正态分布N(np,np(1−p))
泊松分布Poisson(λ)在λ较大时逼近正态分布N(λ,λ)
χ2(n)在n很大的时候逼近正态分布N(n,2n)
t分布在n很大时逼近标准正态分布N(0,1)
正态分布的共轭分布还是正态分布
几乎所有的极大似然估计在样本量n增大的时候都趋近于正态分布
如果X,Y是独立的随机变量，且S=X+Y是正态分布，那么X,Y也是正态分布
如果X,Y独立且满足正态分布N(μ,σ2),那么X+Y,X−Y独立且同分布，而正态分布是唯一满足这一性质的概率分布
对于两个正态分布X,Y,如果X,Y不相关则意味着X,Y独立，而正态分布是唯一满足这一性质的概率分布