聚类与分类

分类和聚类

1、区别：“从例子中学习”的方法来看： 分类是监督学习，聚类是无监督学习。

（对监督学习来说，它通过对具有概念标记（concept label）的训练例进行学习，以尽可能正确地对训练集之外的示例的概念标记进行预测。这里所有训练例的概念标记都是已知的，因此训练样本的歧义性最低。
对非监督学习来说，它通过对没有概念标记的训练例进行学习，以发现训练例中隐藏的结构性知识。这里的训练例的概念标记是不知道的，因此训练样本的歧义性最高。
参阅自：http://blog.csdn.net/jwh_bupt/article/details/7654120
监督学习，就是人们常说的分类，通过已有的训练样本（即已知数据以及其对应的输出）去训练得到一个最优模型（这个模型属于某个函数的集合，最优则表示在某个评价准则下是最佳的），再利用这个模型将所有的输入映射为相应的输出，对输出进行简单的判断从而实现分类的目的，也就具有了对未知数据进行分类的能力。在人对事物的认识中，我们从孩子开始就被大人们教授这是鸟啊、那是猪啊、那是房子啊，等等。我们所见到的景物就是输入数据，而大人们对这些景物的判断结果（是房子还是鸟啊）就是相应的输出。当我们见识多了以后，脑子里就慢慢地得到了一些泛化的模型，这就是训练得到的那个（或者那些）函数，从而不需要大人在旁边指点的时候，我们也能分辨的出来哪些是房子，哪些是鸟。监督学习里典型的例子就是KNN、SVM。无监督学习（也有人叫非监督学习，反正都差不多）则是另一种研究的比较多的学习方法，它与监督学习的不同之处，在于我们事先没有任何训练样本，而需要直接对数据进行建模。这听起来似乎有点不可思议，但是在我们自身认识世界的过程中很多处都用到了无监督学习。比如我们去参观一个画展，我们完全对艺术一无所知，但是欣赏完多幅作品之后，我们也能把它们分成不同的派别（比如哪些更朦胧一点，哪些更写实一些，即使我们不知道什么叫做朦胧派，什么叫做写实派，但是至少我们能把他们分为两个类）。）

2、从定义角度：

聚类(clustering)：给定数据集DS，没有任何元组的类标签已知，要求给所有元组添加类标签。根 据“物以类聚”的原理，将本身没有类别的样本聚集成不同的组，这样的一组数据对象的集合叫做簇，并且对每一个这样的簇进行描述的过程。它的目的是使得属于 同一个簇的样本之间应该彼此相似，而不同簇的样本应该足够不相似。与分类规则不同，进行聚类前并不知道将要划分成几个组和什么样的组，也不知道根据哪些空 间区分规则来定义组。其目的旨在发现空间实体的属性间的函数关系，挖掘的知识用以属性名为变量的数学方程来表示。
（就是事先不知道，数据集中元组分成哪几类，要求给数据集元组分类，我们不关心分成哪几类，只关心相似的元素划分到一类，不同类之间元素具有较大差异）

分类(classification )：用来预测问题，假设需要预测数据是否满足一些特性，给你一些数据（训练集），找出满足该特性的一些特征，设计出来一个模型（评判标准），然后使用这个模型判断未知数据（测试集）满足哪些特性，划分到相应的类别中去。
分类和回归（都是用来预测问题的，分类输出为离散值，回归输出为连续值）
相同点：都可用于预测，两者的目的都是从历史数据纪录中自动推导出对给定数据的推广描述，从而能对未来数据进行预测。与回归不同的是，
不同点：分类的输出是离散的类别值，而回归的输出是连续数值。

（举例：
借鉴自：> http://blog.csdn.net/orthocenterchocolate/article/details/39967257
假设有一批人的年龄的数据，大致知道其中有一堆少年儿童，一堆青年人，一堆老年人。
聚类就是自动发现这三堆数据，并把相似的数据聚合到同一堆中。所以对于这个例子，如果要聚成3堆的话，那么输入就是一堆年龄数据，注意，此时的年龄数据并不带有类标号，也就是说我只知道里面大致有三堆人，至于谁是哪一堆，现在是不知道的，而输出就是每个数据所属的类标号，聚类完成之后，就知道谁和谁是一堆了。
而分类就是，我事先告诉你，少年儿童、青年人及老年人的年龄是什么样的，现在新来了一个年龄，输出它的类标号，就是它是属于少年儿童、青年人、老年人的哪个类。一般来说，分类器是需要训训练的，也就是要告诉你的算法，每个类的特征是什么样子，它才能识别新的数据。
下面再举一个实际的例子。
对于聚类，比如有些搜索引擎有“查看相似网页”的功能，这个就可以用聚类来做，把网页就行聚类，在聚类的结果中，每一个类中的网页看成是相似的。
对于分类，比如手写识别就可以看到是分类问题，比如我写了10个“我”字，然后对这10个“我”字进行特征提取，就可以告诉算法，“我”字具有什么样的特征，于是来了一个新的“我”字，虽然笔画和之前的10个“我”字不完全一样，但是特征高度相似，于是就把这个手写的字分类到“我”这个类，就识别出来了。）

3、使用范围

（
自己的理解：
分类：事先明确知道各个类别的信息，或者知道类别信息的代价低。
聚类：无需知道各个类别的信息
）
分类作为一种监督学习方法，要求必须事先明确知道各个类别的信息，并且断言所有待分类项都有一个类别与之对应。但是很多时候上述条件得不到满足，尤其是在处理海量数据的时候，如果通过预处理使得数据满足分类算法的要求，则代价非常大，这时候可以考虑使用聚类算法。

例如人群分类，如果使用分类技术，需要大量“标签”，而有些标签的给出需要专家知识；可能需要很多标签，有些成本会很高。这时候可以使用聚类技术。

部分内容参阅自：> http://www.cnblogs.com/batys/p/3274138.html