数据分析算法之假设检验

先导知识

下面介绍一个复杂一些的概率分布图：正态分布的分布图。也就是最开始的那张图：

如果你投飞镖均值是5环

如果标准差是1，那么你投的飞镖落在4环（5-1）和6环（5+1）之间的概率就是68.3%；

如果标准差是2.2，那么你投的飞镖落在2.8环（5-2.2）和7.2环（5+2.2）之间的概率也是68.3％；

正态分布下， [公式] 的概率是95%， [公式] 的概率是99%…

假设检验

简单说，假设检验的思路是：通过“小概率事件在少量实验中是几乎不可能出现的”这一结论，去证明假设是错误的，从而反证假设的另一面很可能是正确的

**为何要反证：**以上面投飞镖的例子,如果假设你是“百发百中”，那要把你投的每- -次成绩进行统计 ,并且证明每一次投的都射中靶面了。这显然操作难度很大,因为如果你投了成千上万次,这是一个极大的工作量。但如果去证明你不是“百发百中”, 就简单多了,只要有一次没上靶的案例,你就不是“百发百中”了。

所以一般的假设检验中，
原假设,也叫零假设, -般用Ho来表示，-般是一个正命题,你要做的就是找到一-个反例去否定它。而原假设的反面,叫做备择假设, -般用H1来表示,如果拒绝了原假设,也就证明了备择假设是正确的。

下面举个例子：

我们取一个人历史的投标成绩,假设这个人投飞镖时均处于-种正常状态,比如:当天他精神状态正常、靶子正常(不是移动靶之类的)、天气正常(没有风干扰)等等，并且,所取到的样本也足够的多。

拿他历史投出~飞镖样本,就应该能算出一个μ，一个σ，并能够画出一个“正态分布”的概率分布图(因为均是在一种常态下投的飞镖)。

好了,那么这个由样本计算出的μ正不正确呢? 就要用到假设检验了。咱们把原假设Ho定为:假设-一个人,他的投飞镖成绩均值是μ。备择假设H1设定为:他的成绩均值不是μ。

下面是关键,就是要找一个反例去否定Ho , 这就要用到概率分布图了。

如果我让这个人立刻投一次飞镖,如果飞K镖的环数落在了这个位置:

或者这个位置：

很显然，上面两个位置偏离均值μ非常远,而且已经在μ土2.58σ以外了,也就是说,这个情况都没有落在99%可能性内(回忆一下前导知识里,正态分布下飞镖落在μ士2.58σ内的概率是99%) ,那就是在另外1%可能性下出现的事情,那就是一个非常小概率的事件了。如果这个人只投了一次,这一次还出现了1%可能性出现的情景,那咱们就拒绝均值为μ这一"原假设”, 而接受均值不是μ这一“备择假设”。

这就是假设检验的基本逻辑。

思路理解后，我们来看看假设检验的实际操作是怎么样的：

一般假设检验采用“置信区间法”或者“检验统计量”去检验。

1)采用“置信区间”:实上面的例子就使用的“置信区间”进行检验。但在实际使用中， 会先确定一个小概率事件的概率范围。比如，上面例子中,我把“小概率”定义为1% ;我也可以把“小概率”定义为2%、5%、 10%。那相应也就越来越容易拒绝原假设了:

如果“小概率”是1%，那么落在红色的区域拒绝，拒绝难度比较大。

如果“小概率”是5%，那么红色的区域变大了，落在红色区域的可能性也变大了，更容易拒绝原假设了。

这个人为定的“小概率”，我们给起了一个名字叫做“显著性水平”。而红色区域有个名字，叫做“拒绝域”。

“拒绝域”没有覆盖到的区域,叫做“置信区间”，它其实是抛去 ”拒绝域”概率所剩的概率,如果“拒绝域”的概率是5% ,那么“置信区间”的概率就是95% (如上图红色区域和白色区域)。可以简单理解为95%的情况下,我都相信原假设成立(所以95%是“置信”区间) , 一旦出现那5%的小概率事件,我就认为原假设不成立。

2）采用“检验统计量”：

“点估计量”就是这个人再一次投出的环数，“假设值” 就是我们从样本算出的环数均值μ , 因为目前我们不能确定由样本算出的均值就是μ , 所以它就是一个“假设值”( 就是原假设Ho的假设值嘛)。下面的 “点估计量的抽样标准差”就是从样本算出的标准差σ。

公式变形一下：

点估计量(我这-次投出的环数)=μ+检验统计量Xσ

这个公式等号右边看着很眼熟啊!

与μ+1.96σ或者μ十2.58σ超级像,有没有? ! .

所以你现在明白了吧，其实"检验统计量”就是一个倍数,这个倍数乘以标准差σ再加均值μ ,
就是我投出的环数。

而采用“检验统计量” 去判断这一次投出的环数是否是小概率事件,实际 上就是拿这个"检验统计
量”与1.96、2.58去比较。

如果"检验统计量”大于1.96 ,那我这次投出的环数就落在下面图中的红色区域:

如果“检验统计量”大于2.58，那我这次投出的环数就落在下面图中更小的红色区域：