分层聚类分析_聚类分析 一、k-means

前言

人们常说“物以类聚，人以群分”，在生物学中也对生物从界门纲目科属种中进行了划分。在统计学中，也有聚类分析法，通过把相似的对象通过静态分类的方法分成不同的组别或者更多的子集，从而让同一个子集中的成员都有相似的一些属性，然后对这些子集中的数据进行分析，其关键则在于聚类。这系列文章将来讲讲各种聚类方法，这篇开篇文章将介绍下聚类的相关概念以及最基本的算法 K-Means。

聚类

我们都知道，在机器学习中，一般分为有监督、无监督、半监督学习三类。其中无监督学习常用的方法便是聚类。

将一个数据集分为多类后，每一类又称为簇，同一簇中的样本尽可能的相似，而不同簇中的样本尽可能不同。即具有高类内相似性和低类间相似性的特点。

聚类的方法大致可分为两种

• 分区（Partitional algorithms）
• 基于原型：K-Means，GMM等
• 基于密度：DBACAN，MeanShift等
• 分层（Hierarchical algorithms）
• 自顶向下
• 自底向上

这里，就不禁产生一个疑问，我们以什么为标准进行聚类？这也就涉及到了相似度的问题，即我们如何判断两个样本数据是不是相似的？

如果数据特征只有二维，那我们把数据中的点放置在二维坐标系中，如果属于一类，那这些点肯定是会离得比较近，这个近实际上就是我们的相似度度量标准，即距离。那当特征维数增加，在超平面中来划分类，自然也可以通过距离来度量相似性。

常见的距离

• Minkowski 距离
  • 当
    时，为欧氏距离
  • 当