模糊C均值聚类以及C实现

最新推荐文章于 2024-01-23 12:07:48 发布
最新推荐文章于 2024-01-23 12:07:48 发布
阅读量1.9w 收藏 73
点赞数 15
分类专栏： Machine Learning 文章标签： FCM 模糊C均值
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/einsdrw/article/details/37930331
版权

1. 基本介绍

    同K均值类似，FCM算法也是一种基于划分的聚类算法，它的思想就是使得被划分到同一簇的对象之间相似度最大，而不同簇之间的相似度最小。

    模糊C均值是普通C均值聚类算法的改进，普通C均值对数据进行硬性划分，一个样本一定明确的属于某一类，FCM对数据进行模糊划分，使用隶属度表示一个样本属于某一类的程度。实际聚类中可能会遇到这样的情况，蝴蝶形数据集中样本点的类别不好硬性判断，所以引入隶属度来进行模糊划分。


    隶属度函数是表示一个对象x隶属于集合A的程度的函数，通常记做μA(x)，其自变量范围是所有可能属于集合A的对象（即集合A所在空间中的所有点），取值范围是[0,1]，即0<=1，μA(x)<=1。μA(x)=1表示x完全隶属于集合A，相当于传统集合概念上的x∈A。一个定义在空间X={x}上的隶属度函数就定义了一个模糊集合A，或者叫定义在论域X={x}上的模糊子集 。对于有限个对象x1，x2，……，xn模糊集合可以表示为：



2. 参数更新公式推导

a.隶属度矩阵：Uc×n

    Uij 是第i 个样本属于第j个聚类的隶属度。







3. 步骤

（a）确定类别数C，参数m，和迭代停止误差Epslion以及最大迭代次数MaxIterationTimes

（b）初始化聚类中心P

（c）计算初始的距离矩阵D

（d）按下列公式更新隶属度：

注意，如果有距离为0的情况出现，则把该点与相应类的隶属度设为1，其它设为0。

（e）更新聚类中心


（f）重新计算距离矩阵，并计算目标函数的值


（g）若达到最大迭代次数或者前后两次的J的绝对差小于迭代停止误差则停止，否则转（d）,也可以使用前后两次隶属度矩阵的差来判断。

（h）将样本点划分为隶属度最大的那一类。


4. C实现（使用了opencv做数据显示）

#include "highgui.h"
#include <math.h> 
#include <time.h>
#include "cv.h"

//FCM聚类，得到的结果从0开始计数
void myFCMeans(float* pSamples,int* pClusterResult,int clusterNum,int sampleNum,int featureNum,int m_Value);
void main()
{
    #define MAX_CLUSTERS 5
    CvScalar color_tab[MAX_CLUSTERS];
    IplImage* img = cvCreateImage( cvSize( 500, 500 ), IPL_DEPTH_8U, 3 );
    CvRNG rng = cvRNG(cvGetTickCount());
    CvPoint ipt;
	
    color_tab[0] = CV_RGB(255,0,0);
    color_tab[1] = CV_RGB(0,255,0);
    color_tab[2] = CV_RGB(100,100,255);
    color_tab[3] = CV_RGB(255,0,255);
    color_tab[4] = CV_RGB(255,255,0);
	

    int i,k;
    int clusterNum = cvRandInt(&rng)%MAX_CLUSTERS + 2;	//至少有两类
    int sampleNum = cvRandInt(&rng)%1000 + 100;			//至少100个点
    int feaNum=2;
    CvMat* sampleMat = cvCreateMat( sampleNum, 1, CV_32FC2 );
	
    /* generate random sample from multigaussian distribution */
	//产生高斯随机数
    for( k = 0; k < clusterNum; k++ )
    {
        CvPoint center;
	int topIndex=k*sampleNum/clusterNum;
	int bottomIndex=(k == clusterNum - 1 ? sampleNum : (k+1)*sampleNum/clusterNum);

        CvMat* localMat=cvCreateMatHeader(bottomIndex-topIndex,1,CV_32FC2);
        center.x = cvRandInt(&rng)%img->width;
        center.y = cvRandInt(&rng)%img->height;
        cvGetRows( sampleMat, localMat, topIndex,bottomIndex, 1 );	//此函数不会给localMat分配空间,不包含bottomIndex
		
        cvRandArr( &rng, localMat, CV_RAND_NORMAL,
		cvScalar(center.x,center.y,0,0),
		cvScalar(img->width*0.1,img->height*0.1,0,0));
    }
	
	// shuffle samples 混乱数据
	for( i = 0; i < sampleNum/2; i++ )
	{
		CvPoint2D32f* pt1 = (CvPoint2D32f*)sampleMat->data.fl + cvRandInt(&rng)%sampleNum;
		CvPoint2D32f* pt2 = (CvPoint2D32f*)sampleMat->data.fl + cvRandInt(&rng)%sampleNum;
		CvPoint2D32f temp;
		CV_SWAP( *pt1, *pt2, temp );
	}

	float* pSamples=new float[sampleNum*feaNum];
	int* pClusters=new int[sampleNum];
	for (i=0;i<sampleNum;i++)
	{
		//feaNum=2
		pSamples[i*feaNum]=(cvGet2D(sampleMat,i,0)).val[0];
		pSamples[i*feaNum+1]=(cvGet2D(sampleMat,i,0)).val[1];
	}
	cvReleaseMat( &sampleMat );

	cvZero( img );
    for( i = 0; i < sampleNum; i++ )
    {
	//feaNum=2
        ipt.x = (int)(pSamples[i*feaNum]);
        ipt.y = (int)(pSamples[i*feaNum+1]);
        cvCircle( img, ipt, 1, cvScalar(255,255,255), CV_FILLED, CV_AA, 0 );
    }
	cvSaveImage("origin.jpg",img);

	myFCMeans(pSamples,pClusters,clusterNum,sampleNum,feaNum,2);

    cvZero( img );
    for( i = 0; i < sampleNum; i++ )
    {
		//feaNum=2
        int cluster_idx = pClusters[i];
        ipt.x = (int)(pSamples[i*feaNum]);
        ipt.y = (int)(pSamples[i*feaNum+1]);
        cvCircle( img, ipt, 1, color_tab[cluster_idx], CV_FILLED, CV_AA, 0 );
    }
	delete[] pClusters;
	pClusters=NULL;
	delete[] pSamples;
	pSamples=NULL;
	
	
	cvNamedWindow( "clusters");
    cvShowImage( "clusters", img );	
	cvWaitKey(0);
    cvDestroyWindow( "clusters" );
	cvSaveImage("clusters.jpg",img);

	cvReleaseImage(&img);
}
//FCM聚类，得到的结果从0开始计数
void myFCMeans(float* pSamples,int* pClusterResult,int clusterNum,int sampleNum,int featureNum,int m_Value)
{
	if (m_Value<=1 || clusterNum>sampleNum)
	{
		return;
	}

	int i,j,k;
	int int_temp;

	float* pUArr=NULL;	//隶属度矩阵
	double* pDistances=NULL;	//距离矩阵
	float* pCenters=NULL;	//聚类中心

	int m=m_Value;			//参数
	int Iterationtimes;	//迭代次数
	int MaxIterationTimes=100;	//最大迭代次数
	double Epslion=0.001;			//聚类停止误差
	double VarSum;	//平方误差和
	double LastVarSum;	//上一次的平方误差和

	

	//申请空间以及初始化
	pUArr=new float[sampleNum*clusterNum];
	pDistances=new double[sampleNum*clusterNum];
	pCenters=new float[clusterNum*featureNum];

	//初始化中心点
	srand((unsigned int)time(NULL));  
	int_temp=rand()%sampleNum;	
	for (i=0;i<clusterNum;i++)
	{
		for (j=0;j<featureNum;j++)
		{
			pCenters[i*featureNum+j]=pSamples[int_temp*featureNum+j];
		}
		
		int_temp+=(sampleNum/clusterNum);
		if (int_temp>=sampleNum)
		{
			int_temp%=sampleNum;
		}
	}
	//计算初始距离矩阵
	for (i=0;i<sampleNum;i++)
	{	
		for (k=0;k<clusterNum;k++)
		{
			double distance_temp=0;
			for (j=0;j<featureNum;j++)
			{
				distance_temp+=(double)((double)(pCenters[k*featureNum+j]-pSamples[i*featureNum+j])*(pCenters[k*featureNum+j]-pSamples[i*featureNum+j]));
			}
			pDistances[i*clusterNum+k]=distance_temp;
		}
	}


	//开始聚类
	Iterationtimes=0;
	LastVarSum=0;
	VarSum=0;
	while(1)
	{
		Iterationtimes++;
		
		//更新隶属度矩阵
		//计算隶属度，聚类矩阵已更新
		for (i=0;i<sampleNum;i++)
		{
			double denominator=0;	//(1/Dik^2)^(1/(m-1))
			bool isEqualCenter=false;	//是否有距离为0的情况
			int category_temp;		//如果有距离为0的情况所判别的类
			for (k=0;k<clusterNum;k++)
			{
				double currentDis=pDistances[i*clusterNum+k];
				if (currentDis!=0)
				{
					denominator+=pow(1.0/pDistances[i*clusterNum+k],1.0/(m-1));
				}
				else
				{
					isEqualCenter=true;
					category_temp=k;
					break;
				}
			}
			//如果有距离为0的情况，就把相应类的隶属度置为1，其它为0
			if (true==isEqualCenter)
			{
				for(k=0;k<clusterNum;k++)
				{
					pUArr[i*clusterNum+k]=0;
				}
				pUArr[i*clusterNum+clusterNum]=1.0;
			}
			else
			{
				for (k=0;k<clusterNum;k++)
				{
					pUArr[i*clusterNum+k]=pow(1.0/pDistances[i*clusterNum+k],1.0/(m-1))/denominator;
				}
			}
		}

		//更新聚类中心
		for (k=0;k<clusterNum;k++)
		{
			double denominator=0;
			for (j=0;j<featureNum;j++)
			{
				double numerator=0;
				for (i=0;i<sampleNum;i++)
				{
					double U_m_temp=pow(pUArr[i*clusterNum+k],m_Value);
					if (0==j)
					{
						denominator+=U_m_temp;
					}
					numerator+=(U_m_temp*pSamples[i*featureNum+j]);
				}
				pCenters[k*featureNum+j]=numerator/denominator;
			}
		}

		//计算平方误差函数值，并更新距离矩阵
		VarSum=0;
		for (i=0;i<sampleNum;i++)
		{
			for (k=0;k<clusterNum;k++)
			{
				double distance_temp=0;
				for (j=0;j<featureNum;j++)
				{
					distance_temp+=(double)((double)(pCenters[k*featureNum+j]-pSamples[i*featureNum+j])
						*(pCenters[k*featureNum+j]-pSamples[i*featureNum+j]));
				}
				pDistances[i*clusterNum+k]=distance_temp;
				VarSum+=(pow(pUArr[i*clusterNum+k],1.0/m)*distance_temp);		//存在溢出危险
			}
		}

		if (Iterationtimes>=MaxIterationTimes || fabsl(VarSum-LastVarSum)<=Epslion)
		{
			break;
		}
		LastVarSum=VarSum;
	}
	delete[] pDistances;
	pDistances=NULL;
	delete[] pCenters;
	pCenters=NULL;

	//分类,归为隶属度最大的那一类
	for (i=0;i<sampleNum;i++)
	{
		float maxU;		//最大隶属度
		int Category;	//属于类别
		for (k=0;k<clusterNum;k++)
		{
			if (0==k || maxU<pUArr[i*clusterNum+k])
			{
				Category=k;
				maxU=pUArr[i*clusterNum+k];
			}
		}
		pClusterResult[i]=Category;
	}

	delete[] pUArr;
	pUArr=NULL;

}

5. 结果


einsdrw
关注
专栏目录
模糊C均值聚类(FCM)算法——C++代码
05-23
课程的随堂作业，C++的，用dev就能运行，模糊聚类的程序，老师要统计数据分类，所以这还是可以用来交作业混一下的
模糊C均值聚类算法的实现
03-26
详细讲述模糊C均值聚类算法的实现 很值得大家参考的
模糊C均值聚类算法（FCM）
长风破浪会有时，直挂云帆济沧海
03-11 6772
一、算法描述 模糊聚类算法是一种基于函数最优方法的聚类算法，使用微积分计算技术求最优代价函数．在基于概率算法的聚类方法中将使用概率密度函数，为此要假定合适的模型．模糊聚类算法中向量可以同时属于多个聚类，从而摆脱上述问题．在模糊聚类算法中，定义了向量与聚类之间的近邻函数，并且聚类中向量的隶属度由隶属函数集合提供．对模糊方法而言，在不同聚类中的向量隶属函数值是相互关联的．硬聚类可以看成是模糊聚类
模糊C均值聚类(FCM)算法概述
qq_28829409的博客
06-29 6770
梳理学习使用tips：论述理论，暂未添加实现代码。模糊C均值聚类(FCM)起源于C均值聚类(HCM，K-means)聚类。一些教学资料中讲述HCM比较多，属于硬性聚类划分：一个元素x只有属于或者不属于某个类Ci两种情况；而FCM是柔性的划分：一个元素x属于某个类Ci的隶属度（或者称之为概率）为ui（u∈[0,1]），比较x属于不同的类隶属度大小确定所属C，并且，x对于c个类的隶属度之和为1，即u1...
模糊聚类算法——模糊C均值聚类及matlab实现
最新发布
root-cause的博客
01-23 5619
模糊聚类算法，模糊C均值
模糊C均值聚类算法
qq_41033011的博客
08-27 3780
  学习了一下模糊聚类中的模糊 C 均值聚类算法 (Fuzzy C-Means Clustering)。   Fuzzy 意为模糊，其中包括几种模糊的方式，这里使用的是最简单的方式，它是基于概率的概念。我们把每一个点属于每一类的概率值求出，它属于哪一类别的概率最大，我们就将其归于哪一类。   这里的 C 其实对应于 K-means 中的 K。其中，K-means 中的 K 决定类别数。同样的，C 也是决定类别数。   首先我们介绍该算法的目标函数。   当分类时，我们希望类内距离要越小越好（越集中越好），类
模糊C均值聚类（FCM）,模糊c均值聚类算法的优缺点,matlab
09-10
模糊C均值聚类（FCM，Fuzzy C-Means Clustering）是一种在数据分析领域广泛应用的聚类算法，尤其在处理数据不清晰或者存在不确定性时表现突出。它是由J.C. Bezdek在1973年提出的，是对经典K-means算法的一种扩展，...
模糊Ｃ均值聚类,模糊c均值聚类算法的优缺点,matlab
09-10
在MATLAB中，可以利用`fcm`函数实现模糊C均值聚类，该函数接受输入数据、类别数、模糊指数等参数，并返回聚类结果和隶属度矩阵。用户可以根据自己的需求调整参数，进行点云或其他类型数据的聚类分析。 总的来说，...
基于MATLAB的FCM模糊C均值聚类算法的仿真+含代码操作演示视频
05-09
基于MATLAB的FCM模糊C均值聚类算法的仿真+含代码操作演示视频 运行注意事项：使用matlab2021a或者更高版本测试，运行里面的Runme.m文件，不要直接运行子函数文件。运行时注意matlab左侧的当前文件夹窗口必须是当前...
matlab模糊C均值聚类(FCM)
04-28
模糊C均值聚类（FCM，Fuzzy C-Means Clustering）是一种在数据分析领域广泛应用的聚类算法，尤其在处理模糊边界和不确定性数据时表现出优越性。MATLAB作为强大的数值计算和科学计算环境，提供了实现FCM的工具和接口...
基于C++的经典模糊C均值聚类算法
09-12
基于C++的经典模糊C均值聚类算法 参考文献: Bezdek J C. Pattern Recognition with Fuzzy Objective Function Algorithms. New York:Plenum Press, 1981
模糊C均值聚类算法代码
03-01
模糊C均值聚类算法代码，实现数据聚类，机器学习代码的一部分。
MATLAB的模糊C均值聚类程序.rar_c均值聚类_模糊C均值_模糊c聚类_模糊均值聚类_模糊聚类
09-22
MATLAB作为一款强大的数值计算和可视化工具，提供了实现模糊C均值聚类的函数，使得用户可以方便地进行数据处理和分析。 在MATLAB中，模糊C均值聚类通常通过`fcmeans`函数来实现。这个函数的基本思想是通过迭代优化...
模糊C均值聚类（Fuzzy C-means，FCM）算法（Python3实现）
热门推荐
helloWorld的博客
05-15 3万+
L.A.Zadeh在1965年最早提出模糊集理论，在该理论中，针对传统的硬聚类算法其隶属度值非0即1的严格隶属关系，使用模糊集合理论，将原隶属度扩展为 0 到 1 之间的任意值，一个样本可以以不同的隶属度属于不同的簇集，从而极大提高了聚类算法对现实数据集的处理能力，由此模糊聚类出现在人们的视野。FCM算法广泛应用在数据挖掘、机器学习和计算机视觉与图像处理等方向。
模糊c-均值聚类算法（FCM）
qq_44012894的博客
08-15 1907
1.目标函数： 2.一般采用拉格朗日乘子法来最小化FCM的目标函数，通过引入λ，将约束条件与目标函数结合形成新的函数如下： 通过对,,求偏导可得出 2.1隶属度公式： 2.2聚类中心公式： 3.具体算法流程如下： （1）初始化：选取算法结束阈值ε，设置算法最大迭代次数T，初始化聚类中心，设置迭代次数 k=1。 （2）利用上述公式计算隶属度 （3）利用上述公式计算聚类中心。 （4）如果或者k>T,则算法结束；否则k=k+1,返回步骤（2）。 4.代码 ...
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值