统计方法巡礼（一）算命先生和统计方法

统计方法巡礼（一）算命先生和统计方法

近些年来，随着一波人不屑的努力炒作，“大数据”这个概念已经被非常成功的销售给了所有人。现在如果一个东西不和“大数据”，“云”，“机器学习”等概念沾点边，这个东西恐怕就没人买了。有趣的是和女朋友去五道口蹦迪都能遇到不少自称是“大数据”从业者的蹦迪选手。既然大数据的概念很火，有排面，统计的人自然一定会不甘寂寞了，他们于是开始大量在“大数据”的销售场合销售“统计学”，并自诩“统计学”是“大数据”的鼻祖，所以这也是“统计”这几年来被很多人经常提到的原因。关于“什么是统计”这个问题是非常大的，也是无法回答的。所以与其纠结于一个理论上“Perfect”的定义，我倒是更愿意用实实在在的方法，实实在在的算法和模型来对常见的统计方法做一个巡礼。

每个搞统计的都是半个算命先生

统计方法是一套从数据中获得知识的方法论。 by Michael Jordan

这么说太抽象对吧。让我们把视角放大一些，闭上眼睛想象自己是一个刚出生不久的婴儿，然后在洗澡盆中洗澡，然后你会惊讶的发现自己浮起来了。这是一个现象，也是一个规律，即“你在水中会浮起来”，或者“物体在水中”会浮起来。但是这只是一个定性的规律，那么聪明人会问，到底什么样的物体会浮起来，或者精确点讲就是，到底“物体在水中会浮起来这件事”如何用数学精确表述？然后你会用一些方法来从观察（Observation）中获得精确的规律（Models），这些方法就对应着我们想聊的“统计方法”。另一个关于统计方法解释的极妙的例子是中国的风水。风水这件事，概括起来就是风水先生会根据他的观察和你的陈述，然后用一些方法去确定你的命运如何。而如果把风水先生换成统计学家，把你的陈述换成你帮统计学家收集的“数据（Data）”，将先生推测的命运换成数据服从的概率“模型（Models）”，那么这个风水先生算命的故事就变成了一个科学家进行数据分析的故事。See，每个搞统计的其实都是半个算命先生，不过他们是在给各种各样的随机现象在算命罢了。

现实生活（Real Life）的随机现象比比皆是。例如明天的乐视股票价格，例如明天是够会下雨等等。面对这些现象，统计学家会将这些随机规律用数学描述出来，例如，假设明天的乐视股片的价格服从一个正太分布$\mathcal{N}(\mu ,{\sigma }^2)$ ，其中