关闭

常用分类&聚类方法

280人阅读 评论(0) 收藏 举报
分类:

什么是分类

分类任务就是明确对象属于哪个预定义的目标类。其中预定义的目标类是离散时为分类,连续时为回归。

有哪些分类方法

常用的分类算法有决策树,基于规则的分类算法,神经网络,支持向量机和朴素贝叶斯分类法等。(参考常用分类算法总结

  • 决策树

  • 基于规则的分类算法

  • 朴素贝叶斯 杂货铺

  • 最近邻分类器

  • 贝叶斯信念网络(BBN)

  • 人工神经网络

  • 支持向量机的特征(SVM)

什么是聚类

聚类就是按照某个特定标准(如距离准则,即数据点之间的距离)把一个数据集分割成不同的类或簇,使得同一个簇内的数据对象的相似性尽可能大,同时不在同一个簇中的数据对象的差异性也尽可能地大。

有哪些聚类

  • 基于划分聚类算法(partition clustering)

k-means: 是一种典型的划分聚类算法,它用一个聚类的中心来代表一个簇,即在迭代过程中选择的聚点不一定是聚类中的一个点,该算法只能处理数值型数据
k-modes: K-Means算法的扩展,采用简单匹配方法来度量分类型数据的相似度
k-prototypes: 结合了K-Means和K-Modes两种算法,能够处理混合型数据
k-medoids: 在迭代过程中选择簇中的某点作为聚点,PAM是典型的k-medoids算法
CLARA: CLARA算法在PAM的基础上采用了抽样技术,能够处理大规模数据
CLARANS: CLARANS算法融合了PAM和CLARA两者的优点,是第一个用于空间数据库的聚类算法
Focused CLARAN: 采用了空间索引技术提高了CLARANS算法的效率
PCM: 模糊集合理论引入聚类分析中并提出了PCM模糊聚类算法

  • 基于层次聚类算法

CURE: 采用抽样技术先对数据集D随机抽取样本,再采用分区技术对样本进行分区,然后对每个分区局部聚类,最后对局部聚类进行全局聚类
ROCK: 也采用了随机抽样技术,该算法在计算两个对象的相似度时,同时考虑了周围对象的影响
CHEMALOEN(变色龙算法): 首先由数据集构造成一个K-最近邻图Gk ,再通过一个图的划分算法将图Gk 划分成大量的子图,每个子图代表一个初始子簇,最后用一个凝聚的层次聚类算法反复合并子簇,找到真正的结果簇
SBAC: SBAC算法则在计算对象间相似度时,考虑了属性特征对于体现对象本质的重要程度,对于更能体现对象本质的属性赋予较高的权值
BIRCH: BIRCH算法利用树结构对数据集进行处理,叶结点存储一个聚类,用中心和半径表示,顺序处理每一个对象,并把它划分到距离最近的结点,该算法也可以作为其他聚类算法的预处理过程
BUBBLE: BUBBLE算法则把BIRCH算法的中心和半径概念推广到普通的距离空间
BUBBLE-FM: BUBBLE-FM算法通过减少距离的计算次数,提高了BUBBLE算法的效率

  • 基于密度聚类算法

DBSCAN: DBSCAN算法是一种典型的基于密度的聚类算法,该算法采用空间索引技术来搜索对象的邻域,引入了“核心对象”和“密度可达”等概念,从核心对象出发,把所有密度可达的对象组成一个簇
GDBSCAN: 算法通过泛化DBSCAN算法中邻域的概念,以适应空间对象的特点
DBLASD:
OPTICS: OPTICS算法结合了聚类的自动性和交互性,先生成聚类的次序,可以对不同的聚类设置不同的参数,来得到用户满意的结果
FDC: FDC算法通过构造k-d tree把整个数据空间划分成若干个矩形空间,当空间维数较少时可以大大提高DBSCAN的效率

  • 基于网格的聚类算法

STING: 利用网格单元保存数据统计信息,从而实现多分辨率的聚类
WaveCluster: 在聚类分析中引入了小波变换的原理,主要应用于信号处理领域。(备注:小波算法在信号处理,图形图像,加密解密等领域有重要应用,是一种比较高深和牛逼的东西)
CLIQUE: 是一种结合了网格和密度的聚类算法
OPTIGRID:

  • 基于神经网络的聚类算法

自组织神经网络SOM: 该方法的基本思想是–由外界输入不同的样本到人工的自组织映射网络中,一开始时,输入样本引起输出兴奋细胞的位置各不相同,但自组织后会形成一些细胞群,它们分别代表了输入样本,反映了输入样本的特征

  • 基于统计学的聚类算法

COBWeb: COBWeb是一个通用的概念聚类方法,它用分类树的形式表现层次聚类
CLASSIT:
AutoClass: 是以概率混合模型为基础,利用属性的概率分布来描述聚类,该方法能够处理混合型的数据,但要求各属性相互独立

参考

http://blog.chinaunix.net/uid-10289334-id-3758310.html
http://www.cnblogs.com/leoo2sk/archive/2010/09/17/naive-bayesian-classifier.html
http://blog.csdn.net/shouwangcc/article/details/48101761

0
0
查看评论

四种主流聚类方法

四种聚类方法之比较 2015-07-29 SOTON数据分析 聚类分析是一种重要的人类行为,早在孩提时代,一个人就通过不断改进下意识中的聚类模式来学会如何区分猫狗、动物植物。目前在许多领域都得到了广泛的研究和成功的应用,如用于模式识别、数据分析、图像处理、市场研究、客户分割、We...
  • Alex_luodazhi
  • Alex_luodazhi
  • 2015-07-29 11:48
  • 16941

常见聚类算法分类

聚类划分: (1)划分聚类  k-means、k-medoids、k-modes、k-medians、kernel k-means (2)层次聚类  Agglomerative 、divisive、BIRCH、ROCK、Chameleon (3)密度聚...
  • Yan456jie
  • Yan456jie
  • 2016-10-15 10:56
  • 4854

几种常用的聚类算法分析比较

将数据库中的对象进行聚类是聚类分析的基本操作,其准则是使属于同一类的个体间距离尽可能小,而不同类个体间距离尽可能大,为了找到效率高、通用性强的聚 类方法人们从不同角度提出了近百种聚类方法,典型的有K-means方法、K-medoids方法、CLARANS方法,BIRCH方法等,这些算法适用 于特定的...
  • wumingshixiaowu
  • wumingshixiaowu
  • 2015-03-30 11:12
  • 2312

常用的四中聚类方法

【转】四种聚类方法之比较     聚类分析是一种重要的人类行为,早在孩提时代,一个人就通过不断改进下意识中的聚类模式来学会如何区分猫狗、动物植物。目前在许多领域都得到了广泛的研究和成功的应用,如用于模式识别、数据分析、图像处理、市场研究、客户分割、Web文档分...
  • andyfu57
  • andyfu57
  • 2015-09-26 21:43
  • 541

聚类分析在用户分类中的应用

什么是聚类分析?  聚类分析属于探索性的数据分析方法。通常,我们利用聚类分析将看似无序的对象进行分组、归类,以达到更好地理解研究对象的目的。聚类结果要求组内对象相似性较高,组间对象相似性较低。在用户研究中,很多问题可以借助聚类分析来解决,比如,网站的信息分类问题、网页的点击行为关联性问题...
  • polarbear_gh
  • polarbear_gh
  • 2014-08-13 15:56
  • 1293

常见分类方法

本文对常用的几种分类方法做了简单介绍,包括: 基于规则分类,最邻近分类(K-NN),朴素贝叶斯分类器,人工神经网络,支持向量机(SVM)。
  • github_36299736
  • github_36299736
  • 2016-12-30 10:29
  • 2999

iOS 常用Category类别分享

iOS 常用Category类别分享 字数1340 阅读86 评论2 喜欢8 前言      各位都知道,类别是一种为现有的类添加新方法的方式,利用Objective-C的动态运行时分配机制,可以为现有的类添加新方法,这种为现有的类添加新方法的方式...
  • qq_30513483
  • qq_30513483
  • 2016-07-29 20:34
  • 2634

iOS常用UI分类

在iOS开发过程中,即使在高逼格的项目都是有一个个基本的控件搭建起来的,虽然基本控件的使用非常简单,但是不积跬步,无以至千里。这里是我平时做项目整理的一些控件的常用方法,没有什么高的技术含量,只为了加强自己的记忆。 @interface UIView (Utils) @property (...
  • Jivan_iOS
  • Jivan_iOS
  • 2017-01-17 11:19
  • 569

聚类方法

常见的几种聚类分析的方法
  • llwszjj
  • llwszjj
  • 2013-11-20 23:50
  • 631

常见的分类方法

主要分类方法介绍解决分类问题的方法很多[40-42] ,单一的分类方法主要包括:决策树、贝叶斯、人工神经网络、K-近邻、支持向量机和基于关联规则的分类等;另外还有用于组合单一分类方法的集成学习算法,如Bagging和Boosting等。   (1)决策树  ...
  • smillest
  • smillest
  • 2016-09-27 17:32
  • 227
    个人资料
    • 访问:28531次
    • 积分:1398
    • 等级:
    • 排名:千里之外
    • 原创:112篇
    • 转载:13篇
    • 译文:0篇
    • 评论:18条
    最新评论