变换不变性
总结统计量的某个性质(比如无偏性)是否具有变换不变性(该性质在变换后保持不变),如果某一个统计量 T ( x ) T(x) T(x)是某个参数 θ \theta θ的无偏估计,将统计量经过 h h h变换之后为 h ( T ( x ) ) h(T(x)) h(T(x)),它是否也是变换后的参数 h ( θ ) h(\theta) h(θ)的无偏估计。
无偏性
估计的无偏性不具有变换的不变性。一般而言,若 θ ^ \hat \theta θ^是 θ \theta θ的无偏估计,其函数 g ( θ ^ ) g(\hat \theta) g(θ^)不一定是 g ( θ ) g(\theta) g(θ)的无偏估计,除非 g ( θ ) g(\theta) g(θ)是 θ \theta θ的线性函数。
【例子】正态分布总体下,样本方差为总体方差的无偏估计,但样本标准差不是总体标准差的无偏估计。
【总结】
- 若变换为线性变换,变换具有不变性
- 其他情况下一般不具有变化不变性
充分性
设 T = T ( x ) T=T(x) T=T(x)是参数 θ \theta θ的充分统计量, s = Ψ ( t ) s=\Psi(t) s=Ψ(t)是严格单调函数,则 S = Ψ ( T ( x ) ) = Ψ ( x ) S = \Psi (T(x)) = \Psi(x) S=Ψ(T(x))=Ψ(x)也是参数 θ \theta θ的充分统计量。
证明:
s = Ψ ( t ) s=\Psi(t) s=Ψ(t)是严格单调函数
事件{ S = s S=s S=s}与{ T = t T=t T=t}等价
条件分布 F θ ( x ∣ T = t ) = F θ ( x ∣ S = s ) F_{\theta}(x|T=t) = F_{\theta}({x|S=s}) Fθ(x∣T=t)=Fθ(x∣S=s)
则由 T ( x ) T(x) T(x)的充分性可得 S ( x ) S(x) S(x)的充分性
(使用定义来判断某个统计量是否为充分统计量,通常比较麻烦;使用因子分解定理来找充分统计量,比较方便)
【总结】
- 如果变换函数为严格单调函数,变换具有变换不变性
相合性
θ ^ n 1 , . . . , θ ^ n k \hat \theta_{n1},...,\hat \theta_{nk} θ^n1,...,θ^nk分别是 θ 1 , . . . , θ k \theta _1, ..., \theta_k θ1,...,θk的相合估计,若 g ( θ 1 , . . . , θ k ) g(\theta_1, ..., \theta_k) g(θ1,...,θk)是 k k k元连续函数,则 g ^ ( θ ^ n 1 , . . . , θ ^ n k ) \hat g(\hat \theta_{n1},...,\hat \theta_{nk}) g^(θ^n1,...,θ^nk)是 g = g ( θ 1 , . . . , θ k ) g=g(\theta_1, ..., \theta_k) g=g(θ1,...,θk)的相合估计。
【总结】
- 如果变换函数为连续函数,变换具有变换不变性
最大似然
【不变原理】设 X 服 从 p ( x ; θ ) , θ ∈ Θ X服从p(x;\theta), \theta \in \Theta X服从p(x;θ),θ∈Θ,若 θ \theta θ的最大似然估计为 θ ^ \hat \theta θ^,则对于任意函数 γ = g ( θ ) \gamma = g(\theta) γ=g(θ), γ \gamma γ的最大似然估计为 γ ^ = g ( θ ^ ) \hat \gamma = g(\hat \theta) γ^=g(θ^)。
【总结】
- 对于任意的变换函数,变换具有不变性
完备性
完备统计量的函数也是完备的。具有变换不变性。