主成分、因子、聚类

1.主成分分析

      主成分分析：利用降维的思想，将在损失很少信息的前提下把多个指标转化为几个综合指标（主成分),用综合指标来解释多变量的方差- 协方差结构。

     求解主成分的方法：从协方差阵出发（协方差阵已知），从相关阵出发（相关阵R已知）。

     优点：首先它利用降维技术用少数几个综合变量来代替原始多个变量，这些综合变量集中了原始变量的大部分信息。其次它通过计算综合主成分函数得分。

     缺点：当主成分的因子负荷的符号有正有负时，综合评价函数意义就不明确，命名清晰性低。

2.因子分析

      因子分析：利用降维的思想，由研究原始变量相关矩阵内部的依赖关系出发，把一些错综复杂关系的变量归结为少数几个综合因子。

     求解因子载荷方法：主成分，主轴因子法，极大似然法，最小二乘法。

      优点：1.它不是对原有变量的取舍，而是根据原始变量的信息进行重新组合，找出影响变量的共同因子，简化数据；2.它通过旋转使得因子变量更具有解释性，命名清晰性高。

      缺点：计算因子得分时，采用最小二乘法，此法有时可能会失效。

3.聚类分析：

        聚类分析：将个体（样品）或者对象（变量）按相似程度（距离远近）划分类别，使得同一类中的元素之间的相似性比其他类的元素的相似性更强。目的在于使类间元素的同质性最大化和类与类间元素的异质性最大化。其主要依据是聚到同一个数据集中的样本应该彼此相似，而属于不同组的样本应该足够不相似。

      常用聚类方法：系统聚类法，K-均值法，模糊聚类法。

      优点：聚类分析模型的优点就是直观，结论形式简明。

      缺点：在样本量较大时，要获得聚类结论有一定困难。由于相似系数是根据被试的反映来建立反映被试间内在联系的指标，而实践中有时尽管从被试反映所得出的数据中发现他们之间有紧密的关系，但事物之间却无任何内在联系，此时，如果根据距离或相似系数得出聚类分析的结果，显然是不适当的，但是，聚类分析模型本身却无法识别这类错误。