机器学习笔记-FCM算法python实现

FCM算法是一种重叠聚类算法，它计算数据集中每个数据点与分类的匹配度，近日写个python程序重温了一下FCM算法。

一、算法代码

给定同维向量数据集合points，数目为n，将其聚为C类，m为权重值，u为初始匹配度矩阵（n*C），采用闵式距离算法，其参数为p，迭代终止条件为终止值e（取值范围(0，1））及终止轮次。

计算停止时返回计算的轮次和匹配度矩阵，返回值为一个tuple:(最终计算过后的u矩阵,计算轮次（从0开始）)

def alg_fcm(points,u,m,p,e, terminateturn=sys.maxint):
    assert(len(points) == len(u));
    assert(len(points) > 0);
    assert(len(u[0]) > 0);
    assert(m > 0);
    assert(p > 0);
    assert(e > 0);

    u1 = u;
    k = 0;
    while(True):
        # calculate one more turn
        u2 = fcm_oneturn(points, u1, m, p);
        # max difference between u1 and u2
        maxu = fcm_maxu(u1,u2);
        
        if (maxu < e):
            break;
        u1 = u2;
        k=k+1;
        if k > terminateturn:
            break;
        
    return (u2, k);

每一轮计算的函数fcm_oneturn代码如下，参数与主函数相同，返回值只有匹配度矩阵

def fcm_oneturn(points, u, m, p):
    assert(len(points) == len(u));
    assert(len(points) > 0);
    assert(len(u[0]) > 0);
    assert(m > 0);
    assert(p > 0);

    n = len(points);
    c = len(u[0]);

    # calculate centroids of clusters
    centroids = fcm_c(points, u, m);
    assert(len(centroids) == c);
    
    # calculate new u matrix
    u2 = fcm_u(points, centroids, m, p);
    assert(len(u2) == n);
    assert(len(u2[0]) == c);
    
    return u2;

计算终止值的函数：

def fcm_maxu(u1,u2):
    assert(len(u1) == len(u2));
    assert(len(u1) > 0);
    assert(len(u1[0]) > 0);

    ret = 0;
    n = len(u1);
    c = len(u1[0]);
    for i in range(n):
        for j in range(c):
            ret = max(np.fabs(u1[i][j] - u2[i][j]), ret);
    
    return ret;

每一个轮次计算匹配度矩阵的函数：

参数centroids表示每个类别的质心集合

def fcm_u(points, centroids, m, p):
    assert(len(points) > 0);
    assert(len(centroids) > 0);
    assert(m > 1);
    assert(p > 0);

    n = len(points);
    c = len(centroids);
    ret = [[0 for j in range(c)] for i in range(n)];
    for i in range(n):
        for j in range(c):
            sum1 = 0;
            d1 = dis_minkowski(points[i],centroids[j],p);
            for k in range(c):
                d2 = dis_minkowski(points[i],centroids[k],p);
                if d2!= 0:
                    sum1 += np.power(d1/d2, float(2)/(float(m)-1));
            if sum1!=0:
                ret[i][j] = 1/sum1;

    return ret;

每一个轮次计算类别质心的函数

def fcm_c(points, u, m):
    assert(len(points) == len(u));
    assert(len(points) > 0);
    assert(len(u[0]) > 0);
    assert(m > 0);

    n = len(points);
    c = len(u[0]);
    ret = [];
    for j in range(c):
        sum1 = 0;
        sum2 = 0;
        for i in range(n):
            sum2 += np.power(u[i][j], m);
            sum1 += np.dot(points[i], np.power(u[i][j], m));
        if sum2!= 0:
            cj = sum1 /sum2;
        else:
            cj = [0 for d in range(len(points[i]))];
        ret.append(cj);

    return ret;

二、效果

使用matplotlib编写壳程序，维度取2（平面),p取2（欧式距离），结果图示如下。

200个点聚为4类，终止值0.001，运行了70轮。

20个点聚为4类效果。

上图的匹配度函数曲线效果（X轴投影）。