t检验自由度的意义_如何理解统计学中「自由度」这个概念？

举个例子，设

则显然有

比较与其类似的形式

为什么把参数

换成样本均值

就会恰好少一个自由度?

因为

是一个与

相关的随机变量，这里它们的相关性被抵消了，从而随机性下降了。

为了看出何谓相关性被抵消了，考虑一个情况

其中

互相独立，

是它们的函数。

而

,

可以看成

各自纯随机性。而

可以看成

共享的随机性。

单独看

的话，是服从

的，但它们构造的差随机变量

随机性反而减小。这是因为它们共享的随机性被提取出来互相抵消了。

假设模型

时，

与

本身可能是十分复杂的随机变量。但我们直接假设了它们的相关关系，从而使得它们相关性的互相抵消的结果

，纯误差可能是比较规则而且波动较小的服从正态分布的随机变量。

一般来说，对于复杂且互相相关的随机变量

与

，我们也许可以找到一个模型函数

构造

抵消它们之间的某些相关性，使得得到的纯误差

与

与

不相关(但与

相关)。

回到卡方分布的例子，假如

右边的随机变量不是

而是

，得到服从类似

的分布应该是显然的(可以看到第一个项直接被抵消，当然也不直接就是n-1的卡方分布)。这是

与右边那个随机变量(

)抵消相关性的结果。相反，如果右边那个随机变量是与左边的随机变量无关的，比如取常数

。则相关性并不会被抵消，仍然保持之前的随机性。

虽然看上去

这样的函数可以通过抵消相关性降低随机性是很合理的。不过为什么它恰好(可以)是以降低1自由度这种方式来表现它带来的随机性的降低呢？这就是涉及正交矩阵与二次型的技巧了。回顾形式

也可以表示为

事实上，可以找到一种换元方法，使得满足

即从

到

换元正好把

中与

相关的东西全部“集中”到了第一项，但其他项却能保持规则。

于是显然

上面的搞法与构造一个模型函数，将

之间的相关性抵消，只留下“纯误差”类似。这个模型函数要取得恰到好处，正好能提取出正确的相关性予以抵消。与上面要恰好提取出一个与右边的随机变量抵消的随机变量换元类似。

这个换元方法本身怎么找没多大意思，显然

也是二次型，正交矩阵的换元保持二次型不变(于是自动满足本来比较困难的约束

)。所以就是要找一个正交矩阵

恰好能搞成所期望的

形式，即使其满足

与

两条性质。事实上只要是满足第一行全为

的正交矩阵都可以作为这样的

。于是问题就解决了。

这就可以看出在卡方分布中自由度如何表示随机性的大小，而且有时恰好随机性的下降可以表示为自由度的下降。一般见到的t分布，F分布的自由度都是基于卡方分布这个意义的，没必要再起个名字就沿用自由度这个词了。