FCM模糊c均值推导

模糊

模糊就是不确定。若把20岁作为确定是否年轻的标准，则21岁是不年轻。生活当中，21也很年轻，可以使用模糊的概念的来理解，即0.8属于年轻，0.2属于不年轻。这里0.8和0.2不是概率，而指的是相似的程度，把这种一个样本属于结果的这种相似的程度称为样本的隶属度，一般用u表示，表示一个样本相似于不同结果的一个程度指标。

以上来自于：https://blog.csdn.net/on2way/article/details/47087201

网课推荐

算法

FCM算法，即模糊C均值（Fuzzy C-means）算法，是一种基于目标函数的模糊聚类算法。

假设有个数据集X，要划分为C个类，那么对应就有C个类中心，每个样本j属于某一类的隶属度为 μij ，n个样本分成c类，模糊划分矩阵维度为c×n。

FCM算法的目标函数：
$$J=\sum _{i=1}^c\sum _{j=1}^n{u}_{ij}^m||x_j-c_i|{|}^2\text{\hspace{1em}(1)}$$

$$\sum _{i=1}^c{u}_{ij}=1,j=1,2,\dots n\text{\hspace{1em}(2)}$$

可见，目标函数由相应样本的隶属度与该样本到各个类中心的距离相乘组成的，m是一个隶属度因子（可看作样本轻缓程度，类似于$x^2,x^3$）。等式2为约束条件，一个样本属于所有类的隶属度之和为1。

使用拉格朗日函数求极值：

将约束条件拿到目标函数中，则：
$$J=\sum _{i=1}^c\sum _{j=1}^n{u}_{ij}^m||x_j-c_i|{|}^2+{\lambda }_1(\sum _{i=1}^c{u}_{i1}-1)+\cdots +{\lambda }_j(\sum _{i=1}^c{u}_{ij}-1)+\cdots +{\lambda }_n(\sum _{i=1}^c{u}_{in}-1)$$
分别对变量$u_{ij}$,$c_i$求导：

• 对$u_{ij}$求导：

  把求和展开如下：
  $$\left[\begin{array}{c}{u}_{11}^m||x_1-c_1|{|}^2\dots u_{1j}^m||x_j-c_1|{|}^2\dots u_{1n}^m||x_n-c_1|{|}^2\\ \dots \\ u_{i1}^m||x_1-c_i|{|}^2\dots u_{ij}^m||x_j-c_i|{|}^2\dots u_{in}^m||x_n-c_i|{|}^2\\ \dots \\ u_{c1}^m||x_1-c_c|{|}^2\dots u_{cj}^m||x_j-c_c|{|}^2\dots u_{cn}^m||x_n-c_c|{|}^2\end{array}\right]$$
  可以看到含$u_{ij}$只有一项，求导为$m{u}_{ij}^{m-1}||x_j-c_i|{|}^2$，其余求导均为0。

  同理，后面的式子求导为${\lambda }_j$

  可得到：
  $$m{u}_{ij}^{m-1}||x_j-c_i|{|}^2+{\lambda }_j=0$$
  化简可得：
  $$u_{ij}^{m-1}=\frac{-{\lambda }_j}{m||x_j-c_i|{|}^2}$$

  $$u_{ij}={\left(\frac{-{\lambda }_j}{m||x_j-c_i|{|}^2}\right)}^{\frac{1}{m-1}}=(\frac{-{\lambda }_j}{m}{)}^{\frac{1}{m-1}}\left(\frac{1}{||x_j-c_i|{|}^{(\frac{2}{m-1})}}\right)\text{\hspace{1em}(4)}$$

  想办法消掉$\lambda$,将上式带入（2）：

  得出：
  $$(\frac{-{\lambda }_j}{m}{)}^{\frac{1}{m-1}}=\frac{1}{{\sum }_{i=1}^c(\frac{1}{\Vert x_j-c_i{\Vert }^{(\frac{2}{m-1})}})}=\frac{1}{{\sum }_{k=1}^c(\frac{1}{\Vert x_j-c_k{\Vert }^{(\frac{2}{m-1})}})}\text{\hspace{1em}(5)}$$

​ 重新带入（4）：
$$u_{ij}=\frac{1}{{\sum }_{k=1}^c{\left(\frac{\Vert x_j-c_i\Vert }{\Vert x_j-c_k\Vert }\right)}^{\frac{2}{m-1}}}\text{\hspace{1em}(6)}$$

分子就是这个点相对于某一类的类中心距离，而分母是这个点相对于所有类的类中心的距离求和，那么它们两相除表示这个点到某个类中心在这个点到所有类中心的距离和的比重。当求和里面的分子越小，那么整体这个分数就越大，就表示越接近于这个类，也就是对应的uij就越大,表示越属于这个类。

• 对$c_i$求偏导
  $$\sum _{j=1}^n(-u_{ij}^m\ast 2\ast (x_j-c_i))=0$$
  化简得：
  $$c_i=\frac{{\sum }_{j=1}^n{u}_{ij}^m{x}_j}{{\sum }_{j=1}^n{u}_{ij}^m}$$

可以发现，$u_{ij},c_i$是相互关联的，彼此包含对方。在fcm算法刚开始的时候，两者都没有值，我们可以随便赋值给任意一方，然后开始迭代。 $J$也不断变化迭代，逐渐趋向最小值，当J不再变化或到达指定迭代步数时，算法停止。

算法过程：