In many scientific fields, the degrees of freedom of a system is the number of parameters of the system that may vary independently.
在很多科学领域,自由度指的是,一个系统中可以独立变化的参数的个数。
1. 函数
- 所谓的一元函数
y=f(x)
,二元函数
z=f(x,y)
,这里的 1 和 2,指的是自变量的个数,自变量的英文术语为 independent variable,也即二者是在定义域内独立变化的,自然一元函数的
y
和二元函数的
z 都是因变量,是分别关于 x 和x,y 的因变量,
- 从自由度的角度来说,自变量是自由的,因变量显然是不自由的,
- 自变量(独立变量)的个数即为自由度;
2. 离散型概率分布
- 在比如一个离散型概率分布,
{a1,⋯,ai,⋯,an}
,显然满足
∑iai=1
,如果没有更多的约束,显然这里的自由度为
n−1
,而不是
n
,也即其中只有
n−1 个变量可以独立变化,其中的 n−1 个值确定之后,第 n 个数的值也得以确定;
3. 向量空间
从几何的观点看,自由度可以解释为其所处向量空间维度的大小。比如我们有如下独立的正态分布的观测样本:
因为彼此是独立的,因此可以被表示为多维向量形式:
⎛⎝⎜⎜⎜⎜X1X2⋮Xn⎞⎠⎟⎟⎟⎟
令 X¯ 为样本的均值,所以有:
⎛⎝⎜⎜⎜⎜X1X2⋮Xn⎞⎠⎟⎟⎟⎟=X¯⎛⎝⎜⎜⎜⎜11⋮1⎞⎠⎟⎟⎟⎟+⎛⎝⎜⎜⎜⎜X1−X¯X2−X¯⋮Xn−X¯⎞⎠⎟⎟⎟⎟
- 对于等式右边的第一项来说,只有 X¯ 可以自由变化,因此自由度为 1;
- 对于等式右边的第二项来说,需要满足 ∑i(Xi−X¯)=0 ,因此,其中的 n−1 项成分可以自由变化,自由度为 n−1 ;