硬C均值聚类

简介

     硬C-均值（HCM）是一种典型的无监督学习算法，主要将相似的样本自动的归为一类，事先确定好常数K，常数K意味着最终聚类的类别个数。通过计算每个样本到质心之间的相似度，将样本归到相似的类中。在分类过程中每次都要计算所有样本到质心的距离，在大规模数据上，该算法的收敛速度比较慢。

思想

硬聚类分析的目标如下所示：

式子中，d_ik表示第i类中的样本x_k与第i类样本之间的失真度，经常用两个矢量间的距离来度量。J₁ (U,P)表示了各类中样本与其典型样本的误差平方和。聚类准则就是寻找最佳组队(U,P）,使得在满足约束u_ik∊M_hc条件下J₁ (U,P)为最小。

算法步骤

1.  初始化常数K,随机选取K个初始值为质心。

2.  根据每个聚类对象的均值，计算对象与这些中心对象的距离；并根据最小距离重新对相应的对象进行划分；

3.  重新计算每个聚类的中心；

4.  计算标准化测度函数，当满足一定条件，如函数收敛，或者聚类中心不再变化，算法终止。

Matlab算法实现

clear all;close all;clc; 

%creat sample

mu1=[0,2];%均值

sigma1=[.1 0;0 .1];%协方差

data1=mvnrnd(mu1,sigma1,50)

 

mu2=[2,3];

sigma1=[.1 0;0 .1];

data2=mvnrnd(mu2,sigma1,50)%

 

mu3=[1.5,2];

sigma1=[.1 0;0 .1];

data3=mvnrnd(mu3,sigma1,50);

 

plot(data1(:,1),data1(:,2),'b+')

hold on; 

plot(data2(:,1),data2(:,2),'r+'); 

hold on; 

plot(data3(:,1),data3(:,2),'g+'); 

 

 

data = [data1;data2;data3]

N=4; %聚类的数目

 

[m,n]=size(data); 

pattern=zeros(m,n+1);  %第n+1维为数据标签

center = zeros(N,n); %初始化聚类中心

pattern (:,1:n) = data(:,:);

%随机选取其中的N个数为聚类的中心

for x = 1:1:N

   center(x,:) = data(randi(m,1),:) ;

end

 

while 1

    distance = zeros(1,N);

    num = zeros(1,N); %

    new_center = zeros(N,n);

    

    for x = 1:1:m

        for y = 1:1:N

            distance(y) = norm(data(x,:)-center(y,:));%

        end

        [i,temp] = min(distance);

        pattern(x,n+1) = temp;

    end

   

    k=0;

    %计算聚类中心并判断是否迭代结束

    for y = 1:1:N

        for x = 1:1:m

            if pattern(x,n+1) == y

             new_center(y,:) = new_center(y,:)+pattern(x,1:n);

             num(y) = num(y)+1;

            end

        end

        new_center(y,:) = new_center(y,:)/num(y);

        if   norm(new_center(y,:)-center(y,:))<0.1

            k = k+1;

        end

    end

   

    if k == N

        break;

    else

        center = new_center;

    end

end

       

[m, n]=size(pattern); 

figure; 

hold on; 

for i=1:m 

    if pattern(i,n)==1  

         plot(pattern(i,1),pattern(i,2),'r*'); 

         plot(center(1,1),center(1,2),'ko'); 

    elseifpattern(i,n)==2 

         plot(pattern(i,1),pattern(i,2),'g*'); 

         plot(center(2,1),center(2,2),'ko'); 

    elseif pattern(i,n)==3 

         plot(pattern(i,1),pattern(i,2),'b*'); 

         plot(center(3,1),center(3,2),'ko'); 

    elseif pattern(i,n)==4 

         plot(pattern(i,1),pattern(i,2),'y*'); 

         plot(center(4,1),center(4,2),'ko'); 

    else 

         plot(pattern(i,1),pattern(i,2),'m*'); 

         plot(center(4,1),center(4,2),'ko'); 

    end 

end 

grid on;  

原始数据：

分为四类：