统计基础之总体与样本

总体

总体（Population）是统计学中的一个基本概念，它指的是研究对象的全体，即包含所有研究对象的集合。总体是统计学研究的基础，通常是我们想要了解或推断的对象的全体。

在统计学中，总体通常具有以下特征：

总体是一个集合，包含了所有我们所关心的研究对象。这些对象可以是具体的个体（如人、动物、物品等），也可以是抽象的数据（如某个地区的平均收入、某个网站的访问量等）。

总体具有某种共同性质或特征，这使得我们可以对其进行统计研究。这些性质或特征可以是定量的（如身高、体重等），也可以是定性的（如性别、职业等）。

总体的大小或容量可以是有限的，也可以是无限的。例如，如果我们研究某个城市的所有居民，那么总体就是有限的；而如果我们研究全球所有网民的上网行为，那么总体就是无限的。

与总体相对应的是样本（Sample），即从总体中随机抽取的一部分个体或数据。通过对样本的研究，我们可以对总体进行推断和预测。统计学中的很多理论和方法都是基于样本和总体的关系而展开的。

随机样本

随机样本是指在总体中以随机的方式抽取的样本，即总体中的每个个体都有同等的机会被选中。在统计学中，如果研究者从某个集合（如电话号码簿）中以随机的方式（如使用随机数字表）抽取样本，则可以保证所抽出的元素是该集合中所列出所有元素的一个随机样本。

随机样本的一个重要特点是，它具有代表性，能够在一定的误差范围内代表总体。这是因为概率定律确保了当样本足够大且真实时，它总是能够代表总体，包括与总体大致相同比例的不同类别的个体（如女性、少数民族、已婚者、老年人等）。

随机样本的抽取方式一般是有放回的，这意味着在每次抽取一个样本后，该样本仍有可能被再次抽取。简单随机抽样是随机抽样的一种，它指的是从总体N个元素中任意抽取n个元素作为样本，每个可能的样本被抽中的概率是相等的。这种抽样方式的特点还包括：总体个数N是有限的，样本数n不大于总体个数N，且总体中每个个体被选入样本的可能性均为n/N。

独立同分布随机样本

独立同分布（i.i.d.，independent and identically distributed）随机样本是指在概率统计理论中，如果变量序列或者其他随机变量有相同的概率分布，并且互相独立，那么这些随机变量是独立同分布。

具体来说，独立同分布意味着每次抽样之间独立而且同分布。独立是指每次抽样的结果互不影响，同分布则是指每次抽样都服从同样的分布。例如，如果我们抛一个公平的骰子，每次抛掷都是一个独立的事件，且每次抛掷得到任意点数的概率都是1/6，这就是一个独立同分布的随机样本。

在机器学习中，独立同分布是一个非常重要的假设，它假设训练数据和测试数据是满足相同分布的，这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。然而，需要注意的是，独立同分布并不适用于所有情况，不少问题中会假设样本数据采样自同一个分布，因为希望用训练数据集得到的模型可以合理的用于测试数据集。

统计量

统计量（Statistic）是统计学中的一个基本概念，它指的是样本的函数，并且不含有任何未知参数。换句话说，统计量是一个关于样本数据的数学计算或函数，它的值可以通过样本数据直接计算得到，而不需要知道总体的任何未知参数。

常见的统计量包括样本均值、样本方差、样本标准差、样本中位数等。这些统计量可以用来描述样本数据的特征，如集中趋势、离散程度等。同时，根据大数定律和中心极限定理，当样本容量足够大时，样本统计量通常会趋近于总体参数，这使得我们可以通过样本统计量来估计总体参数。

例如，样本均值是样本数据的和除以样本容量，它可以用来估计总体的均值。样本方差是样本数据与其均值的差的平方和的平均值，它可以用来估计总体的方差。样本中位数是将样本数据按大小排列后位于中间的数，它可以用来估计总体的中位数。

抽样分布

抽样分布（Sampling Distribution）是指样本统计量的概率分布。在统计学中，当我们从总体中随机抽取样本时，每个样本都会计算出一个样本统计量（如样本均值、样本方差等）。这些样本统计量在多次抽样中会形成一个分布，即抽样分布。

抽样分布的性质取决于总体的分布和样本容量的大小。根据中心极限定理，无论总体是什么分布，只要样本容量足够大，样本均值的抽样分布都会趋近于正态分布，其均值等于总体均值，方差等于总体方差的1/n（n为样本容量）。

抽样分布是推断统计的基础，因为它允许我们了解样本统计量的可能取值范围，并计算这些取值的概率。例如，在置信区间估计和假设检验中，我们需要知道样本统计量的抽样分布来确定置信区间或计算检验统计量的概率值。