【多元统计分析】课程总结

参考文献：《多元统计分析》高慧璇 编著 ，北京大学出版社
刚考完，做个总结，意在搭个学习《多元统计分析》的简单架子，方便日后复习，虽然只学了一点皮毛，但是架不住老年人的脑子（“好记性，不如烂blog”）。其中，具体内容和公式不再一一陈述（据说，Latex是阻止人类文明进步的绊脚石。。）
一句有用的废话：学习多元统计的时候，要多思考一元统计。
一元统计里面正态分布是重中之重，这是因为后续的参数估计、假设检验等都是围绕它展开的，具体如：卡方分布、F分布、t分布等等。那么对应到多元中，多元正态分布也是核心，类似地衍生出威沙特(Wishart)分布、威尔克斯（Wilks）分布、霍特林(Hotelling)$T^2$分布（对应于一元的卡方分布、F分布、t分布）。其中，会有很多细节，比如说霍特林分布是把一元的t统计量平方后再拓展到多元上的（这并不是很难理解，因为一元t统计量的分母需要开根号，对应到多元上是没有根号的，所以想到平方。

关于似然比检验

在一元统计里面，似然比检验似乎并不太重要，但是在多元统计里，它可以用来各种检验（均值向量的检验、协方差阵的检验等等），主要理论是似然比原理。似然比统计量的构造：顾名思义，要有似然函数和比值，分子和分母差不多是同一个似然函数，主要区别在于：似然函数中参数的取值范围，一个是原假设$H_0$成立时的子参数空间，另一个是全参数空间。

非中心的分布可以用来计算第二类错误（$\beta$,取伪错误）；
矩阵的分布是指把矩阵拉直之后向量的分布，也就是说其实是没有矩阵的分布，只有向量的分布……
👻似然比统计量在样本容量n很大的时候，又会和卡方分布有着千丝万缕的联系……想不明白的话，可以想想一元做拟合优度检验的时候，峁诗松老师给了两种做法，一个是卡方，另一个就是似然比检验，两者等价，多元也适用。。。恕末将无能，只能解释到这里……

关于回归分析

值得注意的是，上面（4.1.2）和（4.1.3）虽然都是经典多元线性回归模型，文书上又用“或”连接，但是二者并不等价。（4.1.3）明显是比（4.1.2）要强的，因为（4.1.3）有分布，而（4.1.2）只是给出一些数字特征。
强有强的用处，（4.1.3）一般用于区间估计等（区间估计是需要知道分布才可以做的）；
弱有弱的好处，（4.1.2）一般用于简单的点估计。

参数的最小二乘估计中有个帽子矩阵，名字由来是那个红色的式子，H像是给Y加了一顶帽子变成了$\hat{Y}$，所以称为帽子矩阵……

关于判别分析

这里值得注意的是，判别分析是在分好类之后进行的，而且各类的分布特征已知。这是区别于聚类分析的地方。

做判别分析之前，要先看一下：类与类之间是否有显著差异，不然就像“纠结是吃番茄好还是吃西红柿好”一样……
具体有距离判别法、贝叶斯判别法、费希尔判别法等。判别方法的结果是得到一个m维空间的划分，再看看新样品X是属于哪一个划分区域，然后可以知道它属于哪一个类。

• 距离判别法的基本思想：样品和哪个总体距离近，就判它属于哪个总体，又称“直观判别法”。主要采用马氏距离。
  实际中，总体分布特征是未知的，于是一般会使用样本去估计未知参数（均指向量、协方差矩阵）。需要注意，像一元统计一样，总体方差是否齐性（是否相等） 会影响结果。于是，用来估计总体协方差的样本协方差也要分【${\Sigma }_1={\Sigma }_2$】和【${\Sigma }_1\ne {\Sigma }_2$】的情况。
  【${\Sigma }_1\ne {\Sigma }_2$】时：用合并的样本协方差阵去估计总体协方差阵；
  
  【${\Sigma }_1={\Sigma }_2$】时：用各自的样本协方差阵即可。
• 贝叶斯判别法：
  距离判别法只需要知道总体的一些参数或是特征（均指向量、协方差阵等）即可做，它没有考虑各个总体出现的机会（即先验概率）大小，也没有考虑错判损失。针对这些缺点，有了贝叶斯判别法，贝叶斯判别法需要先验概率、错判损失等等。
  贝叶斯判别法在一些特定的情况下，体现为广义平方距离判别法、后验概率判别法。具体来说，如果给定错判损失相等的前提，那么贝叶斯判别法就是后验概率判别法；进一步地，如果给定正态总体的前提，后验概率判别法就是广义平方距离法。
• 费希尔判别法：
  主要思想是投影。将k组m元数据投影到某一个方向上，使得投影后组与组之间尽可能地分开。而衡量组与组之间是否分得开的方法借助于一元方差分析的思想。最后化简一下就是求组内离差阵和组间离差阵的广义特征值问题。

关于聚类分析

事先不知道研究问题应该分为几类，更不知道观测的个体的具体分类情况，聚类分析通过对观测数据分析处理，选定一个度量个体接近程度的量，确定分类数目，建立一种分类方法，并按照接近程度对观测对象给出合理的分类。
对一批观测对象，先用聚类分析进行分类，然后用判别分析的方法建立判别准则，用以对新的观测对象进行判别归类。

• 典型的有系统聚类法：开始每个对象各成一类，然后每次将最相似的两类合并（距离最近的两类），合并后重新计算新类与其他类的距离。这一过程一直继续直到所有对象归为一类为止。并类的过程可以用谱系聚类图描述。
  根据分类对象的不同，分为Q型（对样品）、R型（对变量）。
  类与类之间距离的定义有很多种，每一种都对应了不同的系统聚类法。

关于主成分分析

作用：降维，简化数据结构等。
它的本质是对变量做线性变换，并没有模型可言，这是区别于因子分析的地方（因子分析是有模型的，之后会详细列一列二者的区别和联系）。值得注意的是，通常不会取全部的主成分，只需要特征值比较大的那几个主成分即可近似地反映全部原始变量的信息。

• 为什么是特征值这个量呢？
  因为第i大的特征值对应第i个特征向量，也就是第i个主成分的系数向量。而第i个主成分的方差等于${\lambda }_i$.主成分的方差反映了的信息量，越大越好。特征值的所占比例，称为“贡献率”，反映了该特征值对应的那个主成分提取了原始变量的多少信息。至于累计贡献率的概念，可想而知，就是前m个特征值所占比例，含义是前m个主成分提取了原始变量（⭐这里注意一下，是指全部的原始变量，视作一个整体）的多少信息。
  上面⭐那里，很容易使人思考到：是不是应该还有一个量，用来反映某（几个）主成分提取了某个特定原始变量的信息？于是，有了下面的定义（7.1.3）.其中主成分和原始变量的相关系数，被定义为“因子载荷量”（又称，因子负荷量），emmm,我总觉得这个名称是根据后面的因子分析来的，毕竟因子分析是主成分分析的推广，随着叫也不能说人家乱辈分……
  
  note：从上面的描述中，应该很容易看出主成分之间是互不相关的（因为不同特征值对应的特征向量是互不相关的），这是一个很好的性质（原始变量之间是有可能相关的），这表示各主成分的信息互不重叠。
• 确定需要多少个主成分的要求
  m个主成分所反映的信息 和 p个原始变量（ 就是全部原始变量，和，部分杰出主成分代表）所提供的信息差不多；
  m个主成分又能够对数据所具有的意义进行解释。（是能解释的，肯定句，不是否定句。。不要小看这句话，我就被大牛老师问到了，还挺自信地说错了哈哈哈哈，记住这个教训 。—from some old people👴👴）；

关于因子分析

因子分析是主成分分析的推广和发展，把多个变量综合为少数几个因子，以再现原始变量与因子之间的关系。
不过，具体写出来因子分析模型长得又很像 回归分析。。。
$X_i=a_{i1}{F}_1+a_{i2}{F}_2+......+a_{im}{F}_m+{\epsilon }_i$
注意看上式的脚标，它暗示了很多东西：$X_i$表示第i个变量;$F_1,...,F_m$表示因子，脚标和i是无关的，也就是所有变量都会含他们（也可能不含，主要看系数），所以称他们为“公共因子”；${\epsilon }_i$，也是因子，注意下脚标是依赖i的（也就是随变量的不同而不同，或者说一个变量有一个特殊因子），因此称作“特殊因子”。

• 再说因子分析和回归分析有什么区别：
  回归分析模型：$Y={\beta }_0+{\beta }_1{X}_1+{\beta }_2{X}_2+......+{\beta }_m{X}_m+\epsilon$
  因子分析模型中的因子是不可观测的，但也是随机的。而回归分析中的因变量和自变量都是可观测的，也是随机的。
• 正交因子模型两个关键性的假设：
  特殊因子互不相关，故$D(\epsilon )$应该是一个对角阵；
  公共因子互不相关，且$D(F)=I_m$(单位矩阵)；
  特殊因子与公共因子互不相关，即$COV(\epsilon ,F)=O_{p\times m}$;(假设共有p个变量，m个公共因子)
  （虽然我是一只十足的菜鸟，但是我知道很多人用模型都是从来不管前提的，甚至不知道前提假设是什么……）
  

主成分分析&因子分析

主成分分析一般不用数学模型来描述，它只是通常的变量变换，而因子分析需要构造因子模型（正交或是斜交）；
主成分分析中主成分的个数和变量个数相同，它是将一组具有相关性的变量变换为一组独立的综合变量（实际中，一般选取部分主成分），而因子分析目的是用尽可能少的公因子，以便构造一个简单的因子模型；
主成分分析是将主成分表示为原变量的线性组合，而因子分析是将原始变量表示成公共因子和特殊因子的线性组合。

---

一些乱七芭蕉的观察和想法……可以忽略不看
样本资料阵X
一般表示成n*p的矩阵，其中n是样本容量，p是特征（也就是一次观测需要看多少指标）。
不好理解的话，可以想想SQL、SPSS中的表格，不同行表示不同case，不同列表示不同指标（学号、姓名、班级等等），又称“设计矩阵”。

多元正态分布
它有很多个定义，要注意的是定义之间的区别。
比如说：下面这几种定义之中，联合密度函数的那个明显是较强的，因为它需要协方差矩阵是正定的，而其他的只需要非负定即可。

• 在随机向量服从多维正态分布的前提下，各分量（也可以是分块的分量）不相关和独立是等价的。（注意前提）
  
  感谢观看，欢迎批评指正。【❀❀】