【Statistics-1】-基本抽样分布（背景回顾）

3月底将至，在阅读VAE的过程中，发现自己对于概率论和数理统计的理解非常的浅薄，在这里，阅读一本统计的tutorial：Statistical Analysis Illustrated Foundations You Should Know。并做学习记录。

实际上，概率论和数理统计，对于世界的不确定性进行了很好的建模，其用确定的数学语言衡量了世界中的不确定性。因此，概率论的思维和其它代数、几何的问题，不一样，而且应用性强。

0.Introduction

Reading textbooks doesn’t work because textbooks don’t focus on foundations, and they cover so much ground in so much detail that readers are bound to lose sight of the forest for the trees。本书致力于从统计的根本思想出发，进行一些应用问题的讨论，给出了较为丰富的插图。

此外，本书是基于频率派(Frequentist analysis)分析的思考，并在最后会讨论贝叶斯分析（Bayesian analysis）相关内容。全书我们会依次预见四大概率分布（“big four” distributions.）。

1. focus on an application area that everyone should be familiar with—public opinion surveys.
2. focus on the most straightforward type of survey questions and responses—Do you agree or disagree? Do you approve or disapprove?
3. The third thing I do is focus on foundations that are essential to understanding the
   nature of statistical analysis and the interpretation of result。

1.基本抽样分布（Sampling Distribution Basics）

本部分主要讲解两个例子以及相应的模拟结果。我们需要大致理解其中的含义。

场景1 与 显著性检验

在一个有80000人的社区中公布一项决议，我们需要知到社区居民同意决议的比例。我们可以统计所有人的意见，计算比例；但是我们也可以随机抽取一部分人作为代表，问询他们的意见，以估计社区全体80000人的情况。

现在我们随机抽取了其中的100人，得到赞成的人数为55，我们是否可以认为，居民们“大多”赞同这一项决议？例如，我们认为50%以上的人同意，即“大多赞成”。

在这里，原书作者做了模拟实验——假设社区全体，实际有50%的人赞同决议，那么我们进行多次（1000次）抽样100人的随机模拟，得到结果如下，横轴为抽样中，赞同人数的比例，纵轴为对应抽样的频数。

我们可以看到，55%对应的频次比较高。如果实际上确实只有50%的人赞同决议，我们仅仅进行一次抽样，得到结果为55%的可能性是很大的。因此，我们不能肯定全体居民中，大多同意决议。
但如果抽样结果是70%，在真实情况是50%的情况下，几乎不可能出现。因此，真实情况几乎不可能是50%，而应该更高。那么我们可以相信，全体居民中，大多数同意决议。
但如果我们得到的结果是60%，在真实情况是50%的情况下，可能出现这样的抽样结果，那么我们是否有信心认为“大多数居民同意决议”呢？实际上，我们会感觉难以回答。因此，引入置信区间（confidence intervals）概念。

如上图，在1000次实验中，我们针对采样结果，寻找一个区间，其中95%的抽样结果都落入其中。对于上面的结果（单峰分布），实际上只有唯一的一个区间，如上所示；否则我们可能会找一个，最短的95%区间。这个区间就是所谓95%置信区间。我们可以根据置信区间，来判断抽样结果（100人中，有55%或者60%的人支持决议）是否能够支持我们的假设（全体中有50%的人支持决议）。如果我们在95%置信区间的层面上考虑问题，也就是说，如果抽样结果落入置信区间，我们就支持假设，这时我们没有显著的理由去拒绝假设（当然我觉得单纯考虑55%那一点的概率是否高于某个阈值也是可以的）；那么上述3个抽样例子中，只有70%在区间之外，也就是说，只有抽样结果为70%时，我们可以认为，全体居民的50%支持的假设，是不成立的。

当然，有人要纠结为什么非得是95%的置信区间这样的问题，或者说“抽样结果是61%，假设被拒绝，但实际上确实是50%全体居民支持决议”这样的问题，其实这就不是统计方法的问题，不确定性不可避免，这只不过是因为我们必须要划出一个“支持”或者“拒绝”的线。否则，都只是概率问题。

• 以上根据置信区间来判断假设是否成立，被称作为显著性检验（significance testing）。

几个问题：

1. 随机抽取是如何的随机？服从一种均匀分布的随机嘛？
2. 尝试理解一下，其中蕴含的概率的概念——总体、抽样与估计

场景2，更广泛的理解

我们考虑另一个场景。如果我们对一枚硬币进行投掷实验，假如我们做抽样实验，随机投掷100次硬币，我们能否根据硬币朝上的次数，判断硬币是否公平？

首先，我们需要考虑什么是公平？换句话说，正反两面朝上的概率均为50%。那么，理想情况，做一次实验投掷100次，硬币有50次朝上。但实际情况并不理想，因此我们进行类似上述的模拟实验，我们做1000次实验，每次随机投掷100次硬币，判断硬币正面朝上的次数，统计实验结果，如下：

结果，其实和场景1很像。我们进而可以抽象出相关地概念。

总结

硬币的公平性，虽然如果在物理上，在制造过程中是均匀的，那么它就是公平的。公平的结果是什么？即投掷一次硬币，其正面朝上的概率是50%。但概率如何体现？实际上，如果我们进行实验无穷次，那么其正面朝上的频数无限接近50%。
这就是频率的概念。

此外，我们可以抽象出总体，这一概念。对于硬币，其总体并没有体现，但是我们可以认为，是做无穷次实验；而对于场景1，就是8万人。而做一次抽样，就是从总体中拿出一批样本，其样本的大小可以是1，也可以是100等等。我们可以反复进行上述的抽样，最终得到一个统计。

可以看出，概率是反映一个事物的本质属性。但是在硬币和人身上，具体体现不同。对于硬币，可能是考虑抛掷实验；而对于人，可能是问问题，或者做行为测试。但是我们没办法直接从一次实验中，了解到其中的本质属性。因此，我们可以用足够多次的独立实验，来估计这一本质属性。

其它的方面都是非常类似的：
1.都包含随机抽样的概念；均匀的从总体中进行抽样（采访、投硬币）。因此，抽样得到的比例结果，或者现象本身，是随机变量（random variables）。
2) 就结果上来说，包含两种可能的值，一是同意不同意，二是向上不向上。因此实验结果被称作：binomial random variables，对二值随机变量一次抽样实验，结果的分布是binomial distributions. （二项分布）