论文笔记：Deep Fuzzy K-Means with Adaptive Loss and Entropy Regularization

Deep Fuzzy K-Means with Adaptive Loss and Entropy Regularization

1 摘要

文章的主要研究内容(DFKM)：
1.将模糊聚类加入到自动编码器中以提取更合适的深层特征。
2.文章提出的DFKM进行深层的特征提取和模糊聚类，并且同时产生更合适的非线性特征映射。
3.为了增强模型的鲁棒性，构造了自适应加权损失函数。
4.采用熵正则化的方法来确定每个赋值的置信度，相应的隶属度矩阵和质心矩阵用闭式解而不是SGD来更新。
DFKM研究框架：

将聚类是嵌入训练神经网络，以便自动编码器能够映射数据到一个更合适的深度特征空间。文章中的DFKM同时进行深度特征提取和聚类.
DFKM优点：
基于大数据和非线性数据分布提出的。

2 研究方法

A、 Adaptive Loss Function

1. L₂-norm：在各种模型中经常使用，对较大的离群值很敏感，但在离群值较小时对目标有更好的影响。
   
2. L₁-norm：对于小的异常值有很强的鲁棒性，但对大的离群点很敏感。
   
3. L_2,1-norm：对小的离群点很敏感，对大的异常值很健壮，该范数是非平滑的。
   
4. L_F-norm：对大的离群点很敏感，L_F-norm能容易解决L_2,1-norm非平滑的问题
   
5. 结合L_2,1-norm和L_F-norm各自的优势定义了一个自适应损失函数：
   
   $\sigma$ 是个平衡参数，用来控制不同离群点的鲁棒性。不同$\sigma$下向量自适应损失函数的图解如下：
   对于自损失函描述如下：
   

B、具有加权自适应损失函数的FKM

基于信息理论，熵测量随机变量的无序性（信息论的熵）。在信息世界，熵越高，则能传输越多的信息，熵越低，则意味着传输的信息越少。所以这里定义了隶属度u的信息熵：
将熵正则项引入原始的FKM算法中，得到目标函数：
在目标函数公式（8）中引入刚刚得出的自适应损失函数得到新的具有自适应损失函数的FKM代价函数^[41]：

C、DFKM代价函数

DFKM模型具有自动编码器网络，它通过嵌入带有熵正则化和自适应损失模糊k-均值方法实现的。

J₁、J₂和J₃分别是为不同的目的而设计的。J₁确保了最小的构造误差；J₂是带有自损失函数的FCM的代价函数；J₃是一种正则化方法，用于避免具有正则化参数的自动编码器的过度拟合，阻止自动编码器产生一个无用的映射。

D、DFKM模型优化

1、对于加权自适应损失函数的优化
目标函数为：
其优化方法采用迭代重加权的方法，对目标函数进行处理，对x求导设置为0，然后得到目标函数的迭代公式：
其中，d_i的表达式为：

所以，目标函数（15）的算法流程为：

2、DFKM模型的优化
DFKM模型的优化采用随机梯度下降的方法进行迭代优化，为了简化，将目标函数（14）写成如下形式：


根据上面对于自适应损失函数的优化方法，发现
问题（21）可以等价成一个对偶的问题，即：
此时，对于问题（21）的解决采用coordinate
blocking method。
迭代过程：
（1）固定U和C，更新W^(m)和b^(m)

（2）固定W^(m)、b^(m)和U，更新C,直接对目标函数求导

(3)固定W^(m)、b^(m)和C，更新U,采用拉格朗日乘子法

3、DFKM模型的算法流程

3 实验测试

1、数据集

4 参考文献

DFKM_python