统计学习导论（十）无监督学习——学习笔记

无监督学习（unsupervised learning）旨在发现由$X_1,X_2,\dots ,X_p$构成的观测空间中一些有价值的模式：是否可以找到一种将数据中主要的信息集中显示出来的可视化方法？能否从变量或观测中找到一些子类？无监督学习就是回答诸如此类问题的一类技术。这里主要介绍两种特定形式的无监督学习，即主成分分析（principle components analysis, PCA）和聚类分析（clustering）。主成分分析是一种用于数据可视化以及在有指导学习方法之前对数据进行预处理的工具；聚类分析是一大类寻找数据中未知子类的方法。

1.无监督学习的挑战

有监督学习发展较为成熟，成熟的统计工具——逻辑斯蒂回归，线性判别，分类树，支持向量机等；评估结果质量——交叉验证，基于独立测试集的验证等。
无监督学习模型的训练更倾向于主观性，不设定明确的目标作为分析的指向，比如预测中的响应变量。无监督学习通常也可以视作探索性数据分析的一部分。

2. 主成分分析

主成分分析是计算主成分并使用主成分理解数据的一种方法。PCA是一种无监督学习，因为它仅包含一个变量组$X_1,X_2,\dots ,X_p$而不包含与之相关的响应变量$Y$。除了能够在有监督学习模型中充当派生变量外，PCA还可以作为数据可视化（观测或变量的可视化）的工具。

2.1 什么是主成分

通过PCA能够找到一个尽可能包含足够多数据集变异信息的低维表示。PCA的思想是n个观测虽然都存在于p维空间中，但并不是所有维度都有同样的价值。PCA致力于寻找尽可能有意义的维度，这些维度是否有意义是由观测在每一维度上的离散程度所度量的。通过PCA找到的每一个维度都是原始p个特征的线性组合。

一组变量$X_1,X_2,\dots ,X_p$的第一主成分是变量标准化线性组合中方差最大的组合：
$$Z_1={\varphi }_{11}{X}_1+{\varphi }_{21}{X}_2+\dots +{\varphi }_{p1}{X}_p$$
标准化(normalized)的含义是：${\sum }_{j=1}^p{\varphi }_{j1}^2=1$，其中${\varphi }_{11},{\varphi }_{21},\dots ,{\varphi }_{11}$指第一主成分的载荷（loading）。同时，这些载荷构成了主成分的载荷向量${\varphi }_1={\left(\begin{array}{llll}{\varphi }_{11}& {\varphi }_{21}& \dots & {\varphi }_{p1}\end{array}\right)}^T$。为防止载荷绝对值任意大而导致方差变得任意大，限定这些载荷的平方和为1。
假设$n$x$p$维数据集$X$，假定$X$中每个变量都经过中心化处理，其均值为0（矩阵$X$在列方向上的均值为0），然后寻求具有如下形式的样本特征值的线性组合：
$$z_{i1}={\varphi }_{11}{x}_{i1}+{\varphi }_{21}{x}_{i2}+\dots +{\varphi }_{p1}{x}_{ip}（1.1）$$
该线性组合在限定条件${\sum }_{j=1}^p{\varphi }_{j1}^2=1$下，有最大的样本方差。第一主成分的载荷向量在解如下最优化问题：
$${\varphi }_{11},\dots ,{\varphi }_{p1}$$