k-mean算法

• 给定m个数据样本x1,x2…xm，每个样本可以看作n维空间中的一个点，假设需要将m个数据样本聚成k个类，k均值算法的基本思想是：选取Rn中的k个点，c1,c2…ck，并将每个数据样本分配至与其距离最近的中心，使得所有样本到分配到的中心的距离之和最小，这样一来，分配到同一中心的样本就聚成一类，采用这种方法，就可以将m个样本聚成k个类。
• 按照上述的思想，算法的关键之处是选取数据样本的k个中心。然而，在计算复杂性理论中已经证明，k中心问题时一个NP(NP-hard)的问题。在这种情况下，k均值算法就采用迭代的方式逐步实现聚类的目标，
• 即：先随机选取k个点作为初始中心，并以它们为基础进行样本的初始分类，然后通过迭代的方式不断调整中心的位置以及样本的分类，从而不断降低全体样本与中心之间的距离总和。按这种迭代寻找k个中心，得到的是k中心问题的以及近似解。因此k均值算法是一个近似算法
• 算法描述

•  1、随机生成k个中心点
   2、计算每个样本到每个中心的距离，并选取与当前样本点最近的中心点所在的簇作为其更新后的簇
   3、重复第2步，直到收敛
  

• 复杂度分析

•  1、每一轮循环中，样本归类的计算时间复杂度是O(mnk)
   2、中心调整的时间复杂度为O(mnk)
   3、总的复杂度为O(mnkN)
  

m = 100;  %随机生成的样本数量
n = 2;    %随机生成的每个样本的维度
c = 3;    %聚成的类的个数
x = rand(m, n);


%随机生成c个中心点
center = rand(c, n);

%记录更新后的样本点
new_center = zeros(c,n);

%存放每个样本的标签
label = zeros(m,1)';
distance_to_center = zeros(m, c);

%记录迭代的次数
iter_num = 1;

color = ['r', 'g', 'b', 'c', 'y'];

while center ~= new_center & iter_num <= 500
    
    if iter_num ~= 1
        
        center = new_center;
    end
    
    iter_num = iter_num + 1;
    
    for i = 1:m
        
        for j = 1:c

            distance_to_center(i,j) = Euclidean_Distance(x(i,:), center(j,:));

        end

       

    end
    
    %得到样本点与它们最近的中心点的标签
    for i = 1:m
        label(i) = find(distance_to_center(i,:) == max(distance_to_center(i,:)));
    end
    
    %进行中心点的更新，计算每个簇的中心点位置
    for i = 1:c
        
        sub_label = find(label == i)';
        sub_label_size = size(sub_label, 1);
        x1_c = sum(x(sub_label, 1), 1)/sub_label_size;
        x2_c = sum(x(sub_label, 2), 1)/sub_label_size;
        new_center(i, :) = [x1_c, x2_c];    
    end
    
    clf;
    plot(new_center(:,1),new_center(:,2),'rp','MarkerSize',40); hold on;
    
    for i = 1:c
        
        x1 = x(find(label == i)',1);
        x2 = x(find(label == i)',2);
        
        plot(x1, x2,[color(i), '.'],'MarkerSize',20); 
        hold on;
    end
    
    pause(0.5);
    
    %saveas(gcf, num2str(iter_num), 'jpg');
    
end
function d = Euclidean_Distance(x1, x2)

    d = sqrt(sum((x1 - x2).^2, 2));
end  
    

具体的聚类过程如下所示

在达到迭代次数的时候，迭代结束，产生的聚类效果如下所示