聚类分析
AIHGF
完美一切 一切完美
展开
-
谱聚类
原文地址:谱聚类作者:夏天的味道如果说 K-means 和 GMM 这些聚类的方法是古代流行的算法的话,那么这次要讲的Spectral Clustering就可以算是现代流行的算法了,中文通常称为“谱聚类”。由于使用的矩阵的细微差别,谱聚类实际上可以说是一“类”算法。Spectral Clustering 和传统的聚类方法(例如 K-means)比起来有不少优点:和 K-medoids转载 2014-03-11 16:46:42 · 792 阅读 · 0 评论 -
KNN(K-Nearest Neighbor)最邻…
KNN最邻近规则,主要应用领域是对未知事物的识别,即判断未知事物属于哪一类,判断思想是,基于欧几里得定理,判断未知事物的特征和哪一类已知事物的的特征最接近;K最近邻(k-NearestNeighbor,KNN)分类算法,是一个理论上比较成熟的方法,也是最简单的机器学习算法之一。该方法的思路是:如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也原创 2014-03-11 16:49:13 · 899 阅读 · 0 评论 -
高斯混合模型算法
转自:http://www.cnblogs.com/CBDoctor/archive/2011/11/06/2236286.html下面介绍一下几种典型的机器算法首先第一种是高斯混合模型算法:高斯模型有单高斯模型(SGM)和混合高斯模型(GMM)两种。(1)单高斯模型:为简单起见,阈值t的选取一般靠经验值来设定。通常意义下,我们一般取t=0.7-0.75之间。转载 2014-03-14 14:44:35 · 1177 阅读 · 0 评论 -
高斯混合模型GMM实现 matlab
(1)以下matlab代码实现了高斯混合模型:function [Alpha, Mu, Sigma] = GMM_EM(Data, Alpha0, Mu0, Sigma0)%% EM 迭代停止条件loglik_threshold = 1e-10;%% 初始化参数[dim, N] = size(Data);M = size(Mu0,2);log转载 2014-03-14 15:14:30 · 3893 阅读 · 2 评论 -
高斯混合模型学习笔记
http://blog.csdn.net/hevc_cjl/article/details/97339450 预备知识l 设离散型随机变量X的分布律为 则称 为X的 数学期望 或 均值l 设连续型随机变量X的概率密度函数(PDF)为 其 数学期望 定义为 l 称为随机变量X的 方差 , 称为X的 标准差转载 2014-03-15 09:09:05 · 1215 阅读 · 0 评论 -
高斯混合模型的matlab实现
原文地址:http://www.crescentmoon.info/?p=463高斯混合函数实现部分是基本上是转载的的pluskid大神文章里的里的代码,加了一点注释,并根据他给的方法二解决 covariance 矩阵 singular 的问题。1234567891011转载 2014-03-15 09:12:06 · 4995 阅读 · 1 评论 -
K-means聚类算法
K-means也是聚类算法中最简单的一种了,但是里面包含的思想却是不一般。最早我使用并实现这个算法是在学习韩爷爷那本数据挖掘的书中,那本书比较注重应用。看了AndrewNg的这个讲义后才有些明白K-means后面包含的EM思想。 聚类属于无监督学习,以往的回归、朴素贝叶斯、SVM等都是有类别标签y的,也就是说样例中已经给出了样例的分类。而聚类的样本中却没有给定y,只有特征x,比如假设原创 2014-03-11 16:47:33 · 815 阅读 · 0 评论 -
MATLAB谱聚类方法
原文地址:MATLAB谱聚类方法作者:园园Matlab提供了两种方法进行聚类分析。一种是利用 clusterdata函数对样本数据进行一次聚类,其缺点为可供用户选择的面较窄,不能更改距离的计算方法;另一种是分步聚类:(1)找到数据集合中变量两两之间的相似性和非相似性,用pdist函数计算变量之间的距离;(2)用 linkage函数定义变量之间的连接;(3)用 cophenetic函数评价聚转载 2014-03-11 16:46:47 · 2255 阅读 · 0 评论 -
聚类算法综述(1)
原文地址:聚类算法综述(1)作者:hyman这篇paper是boss在假期布置的任务,主要是对数据挖掘中聚类算法的整理综述,文章分为四部分:(1)聚类方法的概述(2)聚类方法的知识基础(3)聚类方法分类(4)主要的聚类算法:k-means/k-medoids/birch^^^^^ 引用请注明出处:http://blog.sina.com.cn/s/blog_4c2cb83f0100ct0l转载 2014-03-11 16:47:35 · 1105 阅读 · 0 评论 -
谱聚类(spectral clustering)
1. 谱聚类 给你博客园上若干个博客,让你将它们分成K类,你会怎样做?想必有很多方法,本文要介绍的是其中的一种——谱聚类。 聚类的直观解释是根据样本间相似度,将它们分成不同组。谱聚类的思想是将样本看作顶点,样本间的相似度看作带权的边,从而将聚类问题转为图分割问题:找到一种图分割的方法使得连接不同组的边的权重尽可能低(这意味着组间相似度要尽可能低),组内的边的权重尽可能高(原创 2014-03-11 16:48:02 · 1461 阅读 · 0 评论 -
Matalab之模糊KMeans实现
转自:http://www.cnblogs.com/zcftech/p/3147062.html对Kmeans方法相信大家都会不陌生,这是一种广泛被应用的基于划分的聚类算法。首先对它的核心思想做一个简单的介绍:算法把n个向量xj(1,2…,n)分为c个组Gi(i=1,2,…,c),并求每组的聚类中心,使得非相似性(或距离)指标的价值函数(或目标函数)达到最小。当选择欧几里德距离为组j中向量x原创 2014-03-11 16:48:46 · 1479 阅读 · 0 评论 -
[转自网络]Spectral Cluster…
原文地址:Clustering[谱聚类]">[转自网络]Spectral Clustering[谱聚类]作者:farutoSpectralClustering,中文通常称为“谱聚类”。由于使用的矩阵的细微差别,谱聚类实际上可以说是一“类”算法。SpectralClustering 和传统的聚类方法(例如 K-means)比起来有不少优点:1)和K-medoids类似,Spectral转载 2014-03-11 16:48:30 · 765 阅读 · 0 评论 -
谱聚类
对于一组模式{x1, x2,…, xn},谱聚类:基于无向加权图G=(V,E),其中每个顶点vi对应一个xi,顶点vi和vj间的边有权值wij≥0聚类问题就是要求G的连通子图顶点vi的度为 di=wij求和相应的,定义邻接矩阵W和度矩阵D(对角阵)邻接矩阵W可根据模式间的相似度s(xi, xj)获得无向图G=(V,E)的拉普拉斯矩阵(Laplacianmatrix) L=原创 2014-03-11 16:46:45 · 998 阅读 · 0 评论 -
K均值聚类算法(matlab)
原文地址:K均值聚类算法(matlab)作者:TimChen525由于公式不能复制所以原文见:http://wenku.baidu.com/view/1c5f16da240c844769eaee41.html?st=1K-均值聚类算法1.初始化:选择c个代表点2.建立c个空间聚类表:3.按照最小距离法则逐个对样本X进行分类:4.计算J及用各聚类列表计算聚类均值,并用来作为各聚类新的转载 2014-03-11 16:46:49 · 3187 阅读 · 0 评论 -
聚类算法总结
(本文转自网上,具体出处忘了是哪里的,好像是上海一位女士在网上的博文,此处转载,用以备查,请原作者见谅)聚类算法总结:---------------------------------------------------------聚类算法的种类:基于划分聚类算法(partition clustering)k-means:是一种典型的划分聚类算法原创 2014-03-11 16:47:28 · 1019 阅读 · 0 评论 -
分类算法总结
(本文来自网上,具体出处不可查,此处转载,以备后查,请原作者见谅)分类算法总结:---------------------------------------------------------决策树分类算法:决策树归纳是经典的分类算法。它采用自顶向下递归的各个击破方式构造决策树。树的每一个结点上使用信息增益度量选择测试属性。可以从生成的决策树中原创 2014-03-11 16:47:30 · 971 阅读 · 0 评论 -
Matlab函数kmeans:K-均值聚类
K-means聚类算法采用的是将N*P的矩阵X划分为K个类,使得类内对象之间的距离最大,而类之间的距离最小。使用方法:Idx=Kmeans(X,K)[Idx,C]=Kmeans(X,K) [Idx,C,sumD]=Kmeans(X,K) [Idx,C,sumD,D]=Kmeans(X,K) […]=Kmeans(…,’Param1’,Val1,’Param2原创 2014-03-11 16:47:42 · 1318 阅读 · 0 评论 -
谱聚类
广义上来说,任何在算法中用到SVD/特征值分解的,都叫Spectral Algorithm。顺便说一下,对于任意矩阵只存在奇异值分解,不存在特征值分解。对于正定的对称矩阵,奇异值就是特征值,奇异向量就是特征向量。传统的聚类算法,如K-Means、EM算法都是建立在凸球形样本空间上,当样本空间不为凸时,算法会陷入局部最优,最终结果受初始参数的选择影响比较大。而谱聚类可以在任意形状的样本空间上聚类原创 2014-03-11 16:48:04 · 1200 阅读 · 0 评论 -
谱聚类算法(Spectral Clustering)
谱聚类(Spectral Clustering,SC)是一种基于图论的聚类方法——将带权无向图划分为两个或两个以上的最优子图,使子图内部尽量相似,而子图间距离尽量距离较远,以达到常见的聚类的目的。其中的最优是指最优目标函数不同,可以是割边最小分割——如图1的Smallestcut(如后文的Min cut), 也可以是分割规模差不多且割边最小的分割——如图1的Best cut(如后文的Norma原创 2014-03-11 16:48:06 · 1143 阅读 · 0 评论 -
MATLAB谱聚类方法
原文地址:MATLAB谱聚类方法作者:园园Matlab提供了两种方法进行聚类分析。一种是利用 clusterdata函数对样本数据进行一次聚类,其缺点为可供用户选择的面较窄,不能更改距离的计算方法;另一种是分步聚类:(1)找到数据集合中变量两两之间的相似性和非相似性,用pdist函数计算变量之间的距离;(2)用 linkage函数定义变量之间的连接;(3)用 cophenetic函数评价聚转载 2014-03-11 16:48:20 · 2090 阅读 · 1 评论 -
Matlab聚类分析(Cluster Ana…
原文地址:Analyses)">Matlab聚类分析(Cluster Analyses)作者:朗朗天下 Matlab提供系列函数用于聚类分析,归纳起来具体方法有如下: 方法一:直接聚类,利用clusterdata函数对样本数据进行一次聚类,其缺点为可供用户选择的面较窄,不能更改距离的计算方法,该方法的使用者无需了解聚类的原理和过程,但是聚类效果受限制。 方法二:层次聚类,转载 2014-03-11 16:48:22 · 2081 阅读 · 0 评论 -
拉普拉斯矩阵及谱聚类
拉普拉斯矩阵及谱聚类(LaplacianMatrix and Spectral Clustering)与相似性度量相关的论文中经常出现拉普拉斯矩阵(LaplacianMatrix),根据维基百科的描述,该矩阵在图论中运用较多。本文主要介绍在谱聚类中的应用。首先给出一个谱聚类的直观结果,然后介绍LaplacianMatrix的一些性质,最后讨论谱聚类。通过模拟生成一系列的数据分别用k原创 2014-03-11 16:48:25 · 3123 阅读 · 0 评论 -
模糊C均值聚类算法(FCM)
一、算法描述模糊聚类算法是一种基于函数最优方法的聚类算法,使用微积分计算技术求最优代价函数.在基于概率算法的聚类方法中将使用概率密度函数,为此要假定合适的模型.模糊聚类算法中向量可以同时属于多个聚类,从而摆脱上述问题.在模糊聚类算法中,定义了向量与聚类之间的近邻函数,并且聚类中向量的隶属度由隶属函数集合提供.对模糊方法而言,在不同聚类中的向量隶属函数值是相互关联的.硬聚类可以看成是模糊聚类原创 2014-03-11 16:48:37 · 6573 阅读 · 0 评论