非监督式学习：聚类和降为

聚类主要的三种模型：K-means，混合高斯以及谱聚类
   K-means是非常简单和直观的聚类，他用欧式距离来度量数据间的相似度。类似画圈圈的方法来完成聚类运算。它隐含的假设是数据的各维度是均质的，应用范围比较窄。
   为了解决引用范围比较窄的问题，我们讨论混合高斯模型，它是一个生成式模型，是二次判别分析的非监督版本。混合高斯对聚类的处理可以形象的理解为“画椭圆”，因此，k-means其实是这个模型的特例。
   混合高斯模型没有办法对类似流体的的数据做聚类。谱聚类的思路是先将数据转换为连通图，再借助Laplacian matrix的特征向量完成连通图的向量化，最后在响亮的基础上完成聚类运算。
   如何选择聚类个数K，选择了两种模型：主成分分析和阶段奇异值分解。
   从建模思路上看，主成分分析将降为过程中尽可能的保留数据间的差异，而截断奇异值分解的目的是尽可能的还原原有矩阵。两个模型的理论基础都是矩阵的特征向量。
   主成分分析主要用于数据可视化和减低数据中随机因素的干扰，而截断奇异值分解则主要用于生成更高效的向量来表示数据。