机器学习的降维和聚类

oleg-人工智能 第五期

1 降维--PCA(Principal Components Analysis,PCA)，主成分分析

PCA:将原始的D维数据投影到低维空间，并尽可能的保留更多的重要信息。主要是通过计算原始数据集的协方差矩阵，并求得协方差最大时的特征值，及其所对应的特征向量，这些特征向量就是更重要的特征向量。

PCA的算法原理：

X为N*D的数据集，N表示样本数目，D表示样本的特征维度，xi表示第i个样本，i=1,...N.

1 计算数据集X的均值：\[\overline x  = \frac{1}{N}\sum\limits_{i = 1}^N {{x_i}} \]

2 for 每个样本\[{x_i}\]，减去均值\[\overline x \]：\[X = {x_i} - \overline x \]（数据去中心化，减去均值，保留差异）

3 计算协方差矩阵：

\[{c_{ij}} = \operatorname{cov} {({x_i},{x_j})_{i = 1,...N;j = 1,...N}},C = [{c_{ij}}]\]

4 计算C的特征值 、特征向量

\[{\left\{ {{\lambda _j},\mu j} \right\}_{j = 1,...D}}\]，且\[{\lambda _1} \geqslant {\lambda _2} \geqslant ...{\lambda _D}\]

5 return \[{\left\{ {{\lambda _j},\mu j} \right\}_{j = 1,...K}}\] #前K个主成分

2  聚类

聚类就是按照某个特定标准(如距离准则)把一个数据集分割成不同的类或簇，使得同一个簇内的数据对象的相似性尽可能大，同时不在同一个簇中的数据对象的差异性也尽可能地大。即聚类后同一类的数据尽可能聚集到一起，不同数据尽量分离。

划分标准：样本与样本之间的距离或者相似度

划分的基本原则：类内的散度最小，类间的散度最大。

常用的聚类算法有：

• 基于距离、相似度的聚类算法
– K-means（K均值）及其变种（ K-centers 、Mini Batch K-Means），其中 Mini Batch K-Means适合大规模数据
– Mean shift
– 吸引力传播（Affinity Propagation ，AP）
– 层次聚类
• 聚合聚类（Agglomerative Clustering）
• 基于密度的聚类算法
– DBSCAN、DensityPeak（密度最大值聚类）
• 基于连接的聚类算法
– 谱聚类

其中K-means是对简单常用的聚类算法，算法的效率较高，能够处理大规模数据

K-means算法的基本原理：

1 给定n个对象的数据

2 确定类别数K，并随即选择K个对象，作为初始的类中心

3 对于数据中的每个对象，计算离其最近的类，并将其归属到最类似的类

4 计算类中所有数据的平均值，这个均值即为新的类中心

\[\mu _k^{t + 1}{\text{ = }}\arg \min {\sum\limits_{i \in C(k)} {(\mu _k^t - {x_i})} ^2}\]，

\[\mu _k^{t + 1}\]为第k个类新的中心

5 重复3、4部，直到数据点所属类不在改变，输出K个类