统计是一门艺术(抽样分布)

m00—

已于 2024-06-25 14:20:55 修改

阅读量696

点赞数 27

文章标签：学习笔记

于 2024-06-07 22:10:49 首次发布

本文链接：https://blog.csdn.net/m0_46240166/article/details/139409230

版权

1.变量的独立性

https://www.cnblogs.com/feixianxing/p/conditional-distribution-and-independence-of-random-variables.htmlhttps://www.cnblogs.com/feixianxing/p/conditional-distribution-and-independence-of-random-variables.html即为联合分布函数/概率密度函数是否变量可分离

例：

即为u的概率密度函数可以单独分离出来，得到的结果与 $\sigma ^{2}$ 无关，v的概率密度函数可以写成指数族的自然形式

2.正交变换

https://www.zhihu.com/question/401373076https://www.zhihu.com/question/401373076

正交变换不改变原向量的长度，向量之间的内积，向量之间的夹角

将原来的图像不规则的表达式用规则的表达式表达出来，本质上换了一个坐标轴，但是图像仍然是不变的

引理：

若 $eq?X%20%3D%20%28X_%7B1%7D%2C...%2CX_%7Bn%7D%29%5E%7B%27%7D$ 相互独立， $X_{1},...,X_{n}\sim N(a_{i},\sigma^{2})$ ，当A为正交矩阵，Y=AX，记 $eq?x%20%3D%20%28x_%7B1%7D%2C...%2Cx_%7Bn%7D%29%5E%7B%27%7D$ , $eq?a%20%3D%20%28a_%7B1%7D%2C...%2Ca_%7Bn%7D%29%5E%7B%27%7D$ ,则 $Y = (Y_{1},...,Y_{n})^{'}$ 之间相互独立服从正态分布， $Y_{1},...,Y_{n}\sim N(b_{i},\sigma^{2})$ ， $b = (b_{1},...,b_{n})$ ,b = Aa

独立的正态分布随机变量正交变换后仍然独立

原随机变量X~i.i.d标准正态分布，则变换后的Y~i.i.d标准正态分布。

3.jacobi行列式与概率密度的关系

行列式的实质是进行变量变换后面积变化的比例，而求积分就是在求函数所围成的面积，所以函数进行变量变换后要乘以面积变化的比例，也就是这个雅可比行列式.

https://blog.csdn.net/u013892042/article/details/83242615https://blog.csdn.net/u013892042/article/details/83242615

当然运用jacobi需要一些条件，如一维就是有反函数，严格单调函数必有反函数

4.伽马分布（Ga分布）

https://blog.csdn.net/qq_38406029/article/details/120225074https://blog.csdn.net/qq_38406029/article/details/120225074 https://blog.csdn.net/ma123rui/article/details/103056206https://blog.csdn.net/ma123rui/article/details/103056206

伽马分布的可加性：

两点分布，泊松分布，指数分布，正态分布，卡方分布均具有可加性

5.如何求一个函数的概率密度

a.利用特征函数和概率密度的唯一性来根据特征函数来确定概率密度函数，加法更加简单

b.利用jacobi行列式求变量之间的转换

6.抽样分布

6.1抽样分布

统计量T = T(X1,X2,X3,...,Xn)的分布称为抽样分布

一个统计量的精确的分布函数形式一般是很难得到的

假设是在简单随机抽样的情况下，样本之间满足独立同分布

总体 $eq?X%5Csim%20F%28f%29$ ,

样本之间的联合分布 $%28%5Cprod%20f%28x_%7Bi%7D%29%29$

对于 $eq?%5Cbar%7BX%7D%20%3D%20%5Cfrac%7B1%7D%7Bn%7D%5Csum%20x_%7Bi%7D$ ，如何去算他的分布？

对于概率论，我们学过的，求两个随机变量和的分布，如果两个分量独立，我们一般采用的是卷积的方法，但是卷积一般是比较麻烦的方法，根据时域和频域的变换关系，时域的卷积对应频域的乘法，乘法更加简单。

由此引入特征函数，即为傅里叶变换：

$eq?g%28t%29%20%3D%20Ee%5E%7BitX%7D%20%3D%20%5Cint%20e%5E%7BitX%7DdF%28x%29%20%3D%20%5Cint%20e%5E%7BitX%7Df%28x%29dx$

特征函数和分布函数是一一对应的，因此只要知道特征函数就能得到分布函数。

关于特征函数：

https://blog.csdn.net/wxc971231/article/details/121219832https://blog.csdn.net/wxc971231/article/details/121219832e指数的一个作用就是可以将加法变成指数相乘

例：总体满足 $eq?f%28x%2C%5Clambda%20%2C%5Calpha%20%29%20%3D%20%5Cfrac%7B%5Clambda%20%5E%7B%5Calpha%7Dx%5E%7B%5Calpha%20-1%7De%5E%7B-%5Clambda%20x%7D%7D%7B%5CGamma%20%28%5Calpha%20%29%7DI_%7B%280%2C%5Cinfty%20%29%7D%28x%29$ （ $eq?%5CGamma$ -分布）

$eq?%5CGamma%28x%29%20%3D%20%5Cint_%7B0%7D%5E%7B%5Cinfty%20%7Dt%5E%7Bx-1%7De%5E%7B-t%7Ddt%2Cx%3E0$ ，

相关性质： $eq?%5CGamma%20%28x+1%29%20%3D%20x%5CGamma%20%28x%29$ , $eq?%5CGamma%20%28n+1%29%20%3D%20n%21$ , $eq?%5CGamma%20%281%29%20%3D%201$ , $eq?%5CGamma%20%28%5Cfrac%7B1%7D%7B2%7D%29%20%3D%20%5Csqrt%7Bpi%7D$

求 $eq?%5Cbar%7BX%7D%20%3D%20%5Cfrac%7B1%7D%7Bn%7D%5Csum%20x_%7Bi%7D$ 的分布/概率密度

I为示性函数，即在给定区间取值为1

推导总体的情况，用样本的特征函数和总体对照，来判断样本的概率密度函数

一般的 $eq?%5CGamma$ 分布，特征函数为 $eq?g%28t%29%20%3D%20%5Cfrac%7B1%7D%7B%281-%5Cfrac%7Bit%7D%7B%5Clambda%20%7D%29%5E%7B%5Calpha%20%7D%7D$

当 $eq?%5Calpha$ =1时， $eq?%5CGamma$ 分布此时为指数分布 $eq?exp%28%5Clambda%20%29%20%3D%20%5Cfrac%7B1%7D%7B1-%5Cfrac%7Bit%7D%7B%5Clambda%20%7D%7D$

当总体服从指数分布 $eq?exp%28%5Clambda%20%29$ 时：

$eq?%5Cbar%7BX%7D%20%3D%20%5Cfrac%7B1%7D%7Bn%7D%5Csum%20x_%7Bi%7D$ ， $eq?Ee%5E%7Bit%5Cbar%7BX%7D%7D%20%3D%20Ee%5E%7B%5Cfrac%7Bit%7D%7Bn%7D%5Csum%20X%7D%20%3D%20%28Ee%5E%7B%5Cfrac%7Bit%7D%7Bn%7DX%7D%29%5E%7Bn%7D%20%3D%20%5Cfrac%7B1%7D%7B%281-%5Cfrac%7Bit%7D%7Bn%5Clambda%20%7D%29%5E%7Bn%7D%7D$

对比总体一般的特征函数：

$eq?%5Calpha%20%3Dn%2C%5Clambda%20%3D%20n%5Clambda$

故 $eq?%5Cbar%7BX%7D%20%3D%20%5Cfrac%7B1%7D%7Bn%7D%5Csum%20x_%7Bi%7D%5Csim%20f%28x%2Cn%5Clambda%20%2Cn%20%29%20%3D%20%5Cfrac%7B%28n%5Clambda%29%20%5E%7Bn%7Dx%5E%7Bn%20-1%7De%5E%7B-n%5Clambda%20x%7D%7D%7B%5CGamma%20%28n%20%29%7DI_%7B%280%2C%5Cinfty%20%29%7D%28x%29$

关于伽马分布：

当 $\alpha =1$ 时是指数分布，当 $\alpha =\frac{n}{2},\lambda =\frac{n}{2}$ 时是自由度为n的卡方分布

伽马分布的可加性：

两点分布，泊松分布，指数分布，正态分布，卡方分布均具有可加性

6.2 正态总体下的样本统计量的分布

对于正态总体，同理各个样本的线性组合可用特征函数求解：至少是独立的，同分布是后两种

代数形式表达：

设总体 $eq?%5Csim%20N%28a%2C%5Csigma%20%5E%7B2%7D%29$ ，在独立同分布的假设条件下，则联合分布为 $eq?%28X_%7B1%7D%2CX_%7B2%7D%2CX_%7B3%7D%2C...%2CX_%7Bn%7D%29%5Csim%20%28%5Cfrac%7B1%7D%7B%5Csqrt%7B2%5Cpi%20%7D%5Csigma%20%7D%29%5E%7Bn%7D%5Cexp%5C%7B-%5Cfrac%7B1%7D%7B2%5Csigma%20%5E%7B2%7D%7D%5Csum_%7Bi%3D1%7D%5E%7Bn%7D%28x_%7Bi%7D-a%29%5E%7B2%7D%5C%7D$

那么如何求 $eq?%5Cbar%7BX%7D$ ， $eq?%5Csum%20a_%7Bi%7DX_%7Bi%7D$ ，

$eq?g%28t%29%20%3D%20E%20e%5E%7BitX%7D%20%3D%20e%5E%7Bita-%5Cfrac%7Bt%5E%7B2%7D%7D%7B2%7D%5Csigma%20%5E%7B2%7D%7D$

a.定理1，正态分布样本的线性组合

总体服从正态分布，样本的线性组合也服从正态分布

那么根据上面的方法， $eq?Ee%5E%7Bit%5Cbar%7BX%7D%7D%20%3D%20Ee%5E%7B%5Cfrac%7Bit%7D%7Bn%7D%5Csum%20X%7D%20%3D%20%28Ee%5E%7B%5Cfrac%7Bit%7D%7Bn%7DX%7D%29%5E%7Bn%7D$ ，计算和的特征函数与原函数的相对照，得到：

在该假设下，分布为（独立）

独立同分布情况下， $eq?%5Csum_%7Bj%3D1%7D%5E%7Bn%7Da_%7Bj%7DX_%7Bj%7D%5Csim%20N%28%5Csum%20a_%7Bj%7D%20%5Ccdot%20a%2C%5Csigma%5E%7B2%7D%5Ccdot%20%5Csum%20a_%7Bj%7D%5E%7B2%7D%29$

取 $eq?a_%7Bj%7D%20%3D%20%5Cfrac%7B1%7D%7Bn%7D$ ， $eq?%5Cbar%7BX%7D%5Csim%20N%28a%2C%5Cfrac%7B%5Csigma%20%5E%7B2%7D%7D%7Bn%7D%29$

当样本足够多时，依概率收敛于一个数，即为大数定律

用向量形式表达，即向量中的每一个分量都是一个随机变量，且分量之间相互独立，表达形式更加简洁：

$eq?X%20%3D%20%28X_%7B1%7D%2C...%2CX_%7Bn%7D%29%5E%7B%27%7D$ , $eq?Y%20%3D%20%28Y_%7B1%7D%2C...%2CY_%7Bn%7D%29%5E%7B%27%7D$ ,

$eq?EX%20%3D%20%28EX_%7B1%7D%2C...%2CEX_%7Bn%7D%29%5E%7B%27%7D$ , $eq?EY%20%3D%20%28EY_%7B1%7D%2C...%2CEY_%7Bn%7D%29%5E%7B%27%7D$ ,

一般 $eq?X%20%3D%20%28X_%7Bij%7D%29_%7Bn%5Ctimes%20m%7D$ ， $eq?EX%20%3D%20%28EX_%7Bij%7D%29_%7Bn%5Ctimes%20m%7D$ ,

$eq?E%28AX%29%20%3D%20AEX$ , $eq?E%28AXB%29%20%3D%20AEXB$ ,

$eq?cov%20%28X%2CY%29%3DE%5Cleft%20%5B%20%28X-EX%29%28Y-%20EY%29%5E%7B%27%7D%20%5Cright%20%5D%20%3D%20%5Cbegin%7Bpmatrix%7D%20cov%28X_%7B1%7D%2CY_%7B1%7D%29%26%20%5Ccdots%26%20cov%28X_%7B1%7D%2CY_%7Bm%7D%29%26%5C%5C%20%5Cvdots%20%26%20%5Cvdots%20%26%20%5Cvdots%20%26%5C%5C%20cov%28X_%7Bn%7D%2CY_%7B1%7D%29%26%20%5Ccdots%26%20cov%28X_%7Bn%7D%2CY_%7Bm%7D%29%26%5C%5C%20%5Cend%7Bpmatrix%7D$ ,

$eq?cov%20%28X%2CX%29%3DVar%28X%29%20%3D%20E%5Cleft%20%5B%20%28X-EX%29%28X-%20EX%29%5E%7B%27%7D%20%5Cright%20%5D$

此时为两个随机变量之间不是独立的：

对于 $eq?X%20%3D%20%28X_%7B1%7D%2CX_%7B2%7D%29%5Csim%20N%28a_%7B1%7D%2Ca_%7B2%7D%2C%5Csigma_%7B1%7D%5E%7B2%7D%2C%5Csigma_%7B2%7D%5E%7B2%7D%2C%5Crho%20%29$ ,

用向量如何表示？

记 $eq?x%20%3D%20%28x_%7B1%7D%2Cx_%7B2%7D%29%5E%7B%27%7D$ , $eq?a%20%3D%20%28a_%7B1%7D%2Ca_%7B2%7D%29%5E%7B%27%7D$ ,

$eq?%5Csum%20%3D%20%5Cbegin%7Bpmatrix%7D%20%5Csigma_%7B1%7D%20%5E%7B2%7D%20%26%5Crho%20%5Csigma_%7B1%7D%5Csigma_%7B2%7D%20%5C%5C%20%5Crho%20%5Csigma_%7B1%7D%5Csigma_%7B2%7D%26%20%5Csigma_%7B2%7D%20%5E%7B2%7D%20%5Cend%7Bpmatrix%7D%3Dcov%28X_%7B1%7D%2CX_%7B2%7D%29$

二阶矩阵的逆=行列式分之1乘以（主对角线对调，副对角线取负数）

$eq?%5Csum%5E%7B-1%7D%20%3D%20%5Cfrac%7B1%7D%7B1-%5Crho%20%5E%7B2%7D%7D%5Cbegin%7Bpmatrix%7D%20%5Cfrac%7B1%7D%7B%5Csigma_%7B1%7D%20%5E%7B2%7D%7D%20%26-%20%5Cfrac%7B%5Crho%7D%7B%5Csigma_%7B1%7D%5Csigma_%7B2%7D%7D%20%5C%5C%20-%20%5Cfrac%7B%5Crho%7D%7B%5Csigma_%7B1%7D%5Csigma_%7B2%7D%7D%26%20%5Cfrac%7B1%7D%7B%5Csigma_%7B2%7D%20%5E%7B2%7D%7D%20%5Cend%7Bpmatrix%7D$ ,

由此求得：

$eq?f%28x_%7B1%7D%2Cx_%7B2%7D%29%20%3D%20%5Cfrac%7B1%7D%7B2%5Cpi%7D%5Cleft%20%7C%20%5Csum%20%5Cright%20%7C%5E%7B-%5Cfrac%7B1%7D%7B2%7D%7Dexp%5Cleft%20%5C%7B%20-%5Cfrac%7B1%7D%7B2%7D%28x-a%29%5E%7B%27%7D%5Csum%5E%7B-1%7D%28x-a%29%20%5Cright%20%5C%7D$

再进一步还有n维：

$eq?X%20%3D%20%28X_%7B1%7D%2C...%2CX_%7Bn%7D%29%5E%7B%27%7D$ ,当随机变量之间独立，且 $eq?X_%7Bi%7D%5Csim%20N%28a_%7Bi%7D%2C%5Csigma%5E%7B2%7D%29$ 时：

因为独立所以此时协方差矩阵为单位阵

记 $eq?x%20%3D%20%28x_%7B1%7D%2C...%2Cx_%7Bn%7D%29%5E%7B%27%7D$ ， $eq?a%20%3D%20%28a_%7B1%7D%2C...%2Ca_%7Bn%7D%29%5E%7B%27%7D$ ，

$eq?%28X_%7B1%7D%2C...%2CX_%7Bn%7D%29%5Csim%20%28%5Cfrac%7B1%7D%7B%5Csqrt%7B2%5Cpi%20%7D%5Csigma%20%7D%29%5E%7Bn%7D%5Cexp%5Cleft%20%5C%7B%20-%5Cfrac%7B1%7D%7B2%5Csigma%20%5E%7B2%7D%7D%5Csum_%7Bi%3D1%7D%5E%7Bn%7D%28x_%7Bi%7D-a_%7Bi%7D%29%5E%7B2%7D%20%5Cright%20%5C%7D$

$eq?%28X_%7B1%7D%2C...%2CX_%7Bn%7D%29%5Csim%20%28%5Cfrac%7B1%7D%7B2%5Cpi%7D%29%5E%7B-%5Cfrac%7Bn%7D%7B2%7D%7D%5Csigma%5E%7B-n%7Dexp%5Cleft%20%5C%7B%20-%5Cfrac%7B1%7D%7B2%5Csigma%5E%7B2%7D%7D%28x-a%29%5E%7B%27%7D%28x-a%29%20%5Cright%20%5C%7D$

特别的当Y = AX时,即 $eq?y_%7Bi%7D%20%3D%20%5Csum_%7Bj%3D1%7D%5E%7Bn%7Da_%7Bij%7DX_%7Bj%7D$ ,利用雅可比行列式和反函数，求得Y的分布：

Y = AX，则 $eq?X%20%3D%20A%5E%7B-1%7DY$ ,

$eq?X%5Csim%20f%28x%29%20%3D%20f%28x_%7B1%7D%2C...%2Cx_%7Bn%7D%29$

$eq?Y%5Csim%20f%28A%5E%7B-1%7Dy%29%5Cleft%20%7C%20A%5E%7B-1%7D%20%5Cright%20%7C$

当A为正交矩阵即 $eq?A%5E%7B-1%7D%20%3D%20A%5E%7B%27%7D$ 时:A的每一行每一列都是单位正交基

此时 $eq?Y%5Csim%20f%28A%5E%7B-1%7Dy%29$ ，

由此得到一个引理：

若 $eq?X%20%3D%20%28X_%7B1%7D%2C...%2CX_%7Bn%7D%29%5E%7B%27%7D$ 相互独立， $X_{1},...,X_{n}\sim N(a_{i},\sigma^{2})$ ，当A为正交矩阵时，Y=AX，记 $eq?x%20%3D%20%28x_%7B1%7D%2C...%2Cx_%7Bn%7D%29%5E%7B%27%7D$ , $eq?a%20%3D%20%28a_%7B1%7D%2C...%2Ca_%7Bn%7D%29%5E%7B%27%7D$ ,则 $Y = (Y_{1},...,Y_{n})^{'}$ 之间相互独立服从正态分布， $Y_{1},...,Y_{n}\sim N(b_{i},\sigma^{2})$ ， $b = (b_{1},...,b_{n})$ ,b = Aa

证明：即求解Y的联合分布函数，将原来的X的联合概率密度函数处的X都换成 $A^{-1}y$ ，观察求得的概率密度函数，满足正态分布的形式，故可以得到结论

b.定理2，独立同分布的线性变换——>正交变换，即将1维升到n维

经过正交变换后原来独立的现在仍然独立，原来服从正态分布现在仍然服从正态分布

c.定理3（样本均值和样本方差的分布）

一般情况下的正态总体的n维随机变量的分布：

当独立同分布时：

$eq?%5Csum%20%3D%20%5Csigma%5E%7B2%7DI$ , $eq?a%20%3D%20%281%2C..%2C1%29EX$

$eq?f%28x_%7B1%7D%2C...%2Cx_%7Bn%7D%29%20%3D%20%5Cfrac%7B1%7D%7B2%5Cpi%7D%5Cleft%20%7C%20%5Csum%20%5Cright%20%7C%5E%7B-%5Cfrac%7B1%7D%7B2%7D%7Dexp%5Cleft%20%5C%7B%20-%5Cfrac%7B1%7D%7B2%7D%28x-a%29%5E%7B%27%7D%5Csum%5E%7B-1%7D%28x-a%29%20%5Cright%20%5C%7D$

当独立不同分布时：

均值不同：

$eq?%5Csum%20%3D%20%5Csigma%5E%7B2%7DI$ ， $eq?a%20%3D%20%28a_%7B1%7D%2C..%2Ca_%7Bn%7D%29$ ，

方差不同：

$eq?%5Csum%20%3D%20diag%5Cleft%20%5C%7B%20b_%7B1%7D%2C...%2Cb_%7Bn%7D%20%5Cright%20%5C%7D$ , $eq?a%20%3D%20%281%2C..%2C1%29EX$

当不独立时：

$eq?%5Csum$ 此时不是一个对角矩阵，而是一个由相关系数，方差等组成的矩阵，

总结：

https://blog.csdn.net/qq_38406029/article/details/120596820https://blog.csdn.net/qq_38406029/article/details/120596820

如何证明？（猜想）

利用此公式求解，即令 $U = (x-a)^{'}\sum^{-1}(x-a),(Y_{2},...,Y_{n})=(X_{2},...,X_{n})$

$Y=(U,Y_{2},...,Y_{n})$ ，此时的

利用 $eq?Y%5Csim%20f%28A%5E%7B-1%7Dy%29%5Cleft%20%7C%20A%5E%7B-1%7D%20%5Cright%20%7C$ ，然后再求边缘概率密度函数即可求出

6.3 次序统计量的分布

目前还没有用到，用到再详细了解

单个次序统计量的分布：

任意两个次序统计量的分布：

n个次序统计量的分布：

极差的分布：

当每个随机变量服从均匀分布时：（即将均匀分布的函数代入上式）

6.4 三大常用统计分布

a. $\chi ^{2}$ 分布：

n个i.i.d的标准正态分布之和

如何推导其概率密度函数？即为n元的积分，利用球坐标变换

当n足够大时，趋向于非中心的正态分布

上 $\alpha$ 分位数：

$P(\chi_{(\alpha )}^{2}(n)>c) = \alpha$ ，则称c为上 $\alpha$ 分位数，与此对应 $\chi_{(1-\alpha )}^{2}(n)$

性质：

对于均值和方差，可以利用独立的性质，将n个变为1个，再利用期望和方差的公式，同时利用标准正态分布奇次项和偶次项的期望的性质。

对于求和，可以认为是增加了标准正态分布变量的数目。

非中心 $\chi ^{2}$ 分布:

定义：

如何推导？

性质：

b.t分布

即为一个标准正态和一个 $\chi ^{2}$ 分布之和，t分布的平方服从F(1,n)

利用求商的概率密度函数，先求出 $\sqrt{\frac{Y}{n}}$ 的分布函数，再求T

当n足够大时，t分布趋向服从标准正态分布

上 $\alpha$ 分位数：

$P(t_{n}(\alpha )>c) = \alpha$ ，则称c为上 $\alpha$ 分位数，与此对应 $t_{n}(1-\alpha )$ ，当 $n\rightarrow \infty$ 时（n取30）， $t_{n}(\alpha )\rightarrow U_{\alpha }$ ，即为标准正态上 $\alpha$ 分位数

性质：

非中心t分布：

c.F分布

两个 $\chi ^{2}$ 分布的商

利用商的概率密度

上 $\alpha$ 分位数：

$P(F_{m,n}(\alpha )>c) = \alpha$ ，则称c为上 $\alpha$ 分位数

性质：

非中心的F分布：

d.几个重要结论

样本服从正态的基本都与 $\frac{(n-1)s^{2}}{\sigma^{2}}$ 有关

用于方差分析

独立同分布的指数分布的和是卡方分布

对于 $\alpha$ 取值的讨论：现在一般取 $\alpha$ =0.01/ $\alpha$ =0.05，但一概而论 $\alpha$ 的数值会产生一些问题，需要根据具体情况进行讨论，由此会有一个p-value

6.5 统计量的极限分布

大样本性质和小样本性质的差别不在于样本个数的多少，而是在于所讨论的问题是在样本容量 $n\rightarrow \infty$ 时去考虑,还是在样本容量 n 固定时去研究。关于大样本性质的研究构成了数理统计的一个很重要的部分，叫做统计大样本理论。

统计学基础--大数定律、中心极限定理https://zhuanlan.zhihu.com/p/104559816这些都是大样本性质

无偏性即为小样本性质

$S_{n}^{2} = \bar{X}(1-\bar{X}),n\rightarrow \infty ,S_{n}^{2}\rightarrow \sigma^{2} ,\sigma^{2} = np(1-p)$

6.6 充分统计量

精确定义：

统计量T是对原样本的压缩，但是是无损压缩，即包含了恢复参数 $\theta$ 所需要的全部信息，也即T的分布中所包含的 $\theta$ 的信息

条件概率密度函数：

https://blog.csdn.net/hpdlzu80100/article/details/102796105https://blog.csdn.net/hpdlzu80100/article/details/102796105

参数信息的两步：

1）判断统计量T中的参数的信息

2）判断在给定统计量T分布下，X分布的参数信息

当信息只包含在第一步时，称为充分统计量

用熵（entropy）来进行表示：

$T\sim p(t) ,H(\alpha )=-\int p(t)ln(p(t))dt$

$(T,X)\sim f(t,x) ,H(\alpha,\beta )=-\int\int f(t,x)ln(f(t,x))dtdx$

$X|T\sim \frac{f(t,x)}{p(t)} ,H_{\alpha}(\beta )=-\int\int f(t,x)ln(f_{x|t}(x|t))dtdx$

又 $f(t,x) = f_{x|t}(x|t).p(t)$

$H(\alpha,\beta )=-\int\int f(t,x)ln(f(t,x))dtdx = -\int\int f(t,x)(ln(f_{x|t}(x|t))+lnf(t,x))dtdx$

故 $H(\alpha,\beta) = H(\alpha ) + H_{\alpha }(\beta )$

判断的充要条件：概率函数

例1：（离散型）

分子不任取是因为给定了x1,...,xn的取值，而分母任取是因为不确定取值

例2：（连续型一个统计量）一对一的

即为 $y_{1} = T,(y_{2},...,y_{n})=(w_{1},...,w_{n-1})$ ，X与Y是一一对应的变换，故对X的操作可以改变为对Y的操作。

根据定义：正交变换后可以使条件概率密度计算更加方便

对于上面的黄色解释: $f(y_{1},..,y_{n}|y_{1})=f(y_{2},...,y_{n}|y_{1})$ ,所以也可以用 $y_{1}$ 与 $y_{2},...,y_{n}$ 独立，所以条件密度为n-1个正态分布之积，所以与参数 $\theta$ 无关，故为充分统计量。

引申：取 $x_{2},...,x_{n}|x_{1}$ ，谁好算就用谁

充分统计量不唯一，有下面的引理：

如 $\varphi$ 严格单调递增或严格单调递减，一一对应

例3：（连续型两个统计量）因子分解定理的应用

拓展：服从 $U(\theta_{1},\theta_{2})$ 上的均匀分布，那么 $T = (X_{(1)},X_{(n)})$ 为充分统计量

例4：（连续型三个统计量）

指数族形式——>指数族的自然形式

6.7 指数族

矩阵形式就是： $f(x,\theta ) = c(\theta)\cdot exp\left \{ Q^{'}(\theta)\cdot T(\theta)\right \}\cdot h(x)$

指数分布族中的T一定是充分统计量，参见因子分解定理

指数族中所有分布具有共同的支撑集， $c(\theta )>0,exp>0$ ,所以h(x) > 0.

支撑集（support set）是在给定条件下，使得某个函数或集合非零或有意义的那些输入值的集合。这个概念在数学、统计学和优化问题中都有应用。

例1：连续

例2：连续

例3：离散

例4：离散

例5：不是指数分布族

均匀分布： $p(\theta ) = \frac{1}{\theta^{n}}exp\left \{ 0 \right \}I_{(0<x<\theta )}$ ,故不是

6.8 指数族的自然形式和极小充分统计量

指数族的自然形式：

如何变换？

对于一般指数族： $f(x,\theta) = C(\theta)exp\left \{ Q^{'}(\theta)T(x) \right \}h(x)$

令 $\varphi _{i} = Q_{i}(\theta_{1},...,\theta_{k}),i=1,...,k$

若 $(\varphi_{1},...,\varphi_{k})$ 与 $(\theta_{1},...,\theta_{k})$ 有一一对应的关系，(即 $\left | \frac{\partial \varphi }{\partial \theta } \right |=\left | J \right |\neq 0$ )，则反解

$\theta _{i} = \psi_{i}(\varphi _{1},...,\varphi _{n}),i=1,...,k$ ,代入原式得

$f(x,\theta) = C^{*}(\theta)exp\left \{ \varphi^{'}T(x) \right \}h(x)$

例1：

例2：

极小充分统计量：

原始的样本数据也是充分统计量，即没有经过压缩

极小充分统计量就是不能再压缩

例：

完全充分统计量：

6.9 完全统计量

即不能再将统计量进行变换，即不能再压缩

利用期望的定义：即统计量的分布族函数是完备的，完备的正交函数集

例1：

例2：

例3：

例4：

6.10 指数族中统计量的完全性

若指数族可以写成指数族的自然形式，则统计量为充分完全统计量

tips:指数族本身写出来就已经是充分统计量了（因子分解定理），又能够写成自然形式，故为完全充分统计量。

内点：在一个集合内部

6.11 有界完全统计量

6.12 在完全充分条件下的独立

例：（构造变换）

例：

6.13 比较

充分统计量，指数族的自然形式，极小充分统计量，完全统计量的比较：

充分的意思是指包含全部信息，完全的意思是指不能再被压缩

a.一个统计量为充分统计量但不一定是完全统计量

b.充分完全统计量一定是极小充分统计量，反之不一定成立

c.完全统计量一定是有界完全统计量，反之不一定成立

6.14 总结

统计量的充分性：包含完全的未知参数的信息

定义：条件概率分布没有未知参数

因子分解定理——>判断统计量的充分性g(h(T(x)), $\theta$ )*h(x)

指数族是天然的因子分解定理，故满足完全性，即为 $f(x,\theta ) = c(\theta)\cdot exp\left \{ Q^{'}(\theta)\cdot T(\theta)\right \}\cdot h(x)$

统计量的完全性：统计量有没有被压缩完全

定义：若统计量的函数的期望=0，则这些函数=0

指数族的自然形式——>统计量的完全性

在完全充分条件下的独立，完全充分统计量与不与为参数有关的位置参数独立

m00—

关注

27
点赞
踩
26

收藏

觉得还不错? 一键收藏
0
评论
统计是一门艺术(抽样分布)

统计量的充分性包含完全的未知参数的信息定义：条件概率分布没有未知参数因子分解定理——>判断统计量的充分性g(h(T(x)),)*h(x)指数族是天然的因子分解定理，故满足完全性，即为统计量的完全性统计量有没有被压缩完全定义：若统计量的函数的期望=0，则这些函数=0指数族的自然形式——>统计量的完全性在完全充分条件下的独立，完全充分统计量与不与为参数有关的位置参数独立t=N7T8t=N7T8t=N7T8t=N7T8t=N7T8t=N7T8%5CGamma%5CGamma%5Calpha。
复制链接

扫一扫