深度学习学习笔记-论文研读3-基于低秩约束的熵加权多视角模糊聚类算法

丰。。

已于 2023-08-18 17:47:28 修改

阅读量343

点赞数

分类专栏：学报论文研读神经网络论文研读文章标签：聚类算法深度学习机器学习学习

于 2022-07-03 18:14:02 首次发布

本文链接：https://blog.csdn.net/CSDNXXCQ/article/details/125587092

版权

神经网络论文研读同时被 2 个专栏收录

38 篇文章 2 订阅

订阅专栏

学报论文研读

4 篇文章 2 订阅

订阅专栏

本人学识浅薄，如有理解不到位的地方还请大佬们指出，相互学习，共同进步

本文摘要

在这里插入图片描述

研究背景

随着多样化信息获取技术的发展，人们可以从不同途径或不同角度来获取对象的特征数据，即多视角数据。多视角数据包含了同一对象不同角度的信息。例如:网页数据中既包含网页内容又包含网页链接信息;视频内容中既包含视频信息又包含音频信息:图像数据中既涉及颜色直方冬特征、纹理特征等图像特征，又涉及描述该图像内容的文本。多视角学习能有效地对多视角数据进行融合，避免了单视角数据数据信息单一的问题多视角模糊聚类是一种有效的无监督多视自学习方法。它通过在多视角聚类过程中引入各样本对不同类别的模糊隶属度，来描述各视角下样本属于该类别的不确定性程度。经典的工作有: 以经典的单视角FCM算法作为基础模型，利用不同视角间的互补信息确定协同聚类的准则，提出了Co-FC算法; 的协同思想提出Co-FKM算法，引入双视角隶属度惩罚项，构造了一种新型的无监督多视角协同学习方法;借鉴了Co-FKM和Co-FC所使用的双视角约束思想通过引入视角权重，并采用集成策略来融合多视角的模糊隶属度矩阵，提出了WV-Co-FCM算法;文献 11 通过最小化双视角下样本与聚类中心的欧式距离来减小不同视角间的差异性，基于K-means聚类框架提出了Co-K-means算法;在此基础上，提出了基于模糊划分的TW-Co-k-means 算法，对Co-K-means算法中的双视角欧式距离加入一致性权重，获得了比Co-K-means更好的多视角聚类结果。以上多视角聚类方法都基于成对视角来构造不同的正则化项来挖掘视角之间的一致性和差异性信息，缺乏对多个视角的整体考虑。
一致性和差异性是设计多视角聚类算法需要考虑的两个重要原则。一致性是指在多视角聚类过程中，各视角的聚类结果应该尽可能保持一致。在设计多视角聚类算法时，往往通过协同、集成等手段来构建全局划分矩阵，从而得到最终的聚类结果。差异性是指多视角数据中的每个视角均反映了对象在不同方面的信息，这些信息互为补充在设计多视角聚类算法时需要对这些信息进行充分融合。综合考虑这两方面的因素，本文拟提出新型的低秩约束熵加权多视角模糊聚类算法(entropy weighting multi-view fuzzy c-means with low rank constraint.LR-MVEWFCM)，其主要创新点可以概括为以下三个方面:
首先，在模糊聚类框架下提出了面向视角一致性的低秩约束准则。已有的多视角模糊聚类算法大多基于成对视角之间的两两关系来构造正则化项，忽视了多个视角的整体一致性信息。本文在模糊聚类框架下从视角全局一致性出发引入低秩丝束正则化项，从而得到新型的低秩约束多视角模糊聚类算法。其次，在模糊聚类框架下同时考虑多视角聚类的一致性和差异性，在引入低秩约束的同时进一步使用面向视角差异性的多视角香农熵加权策略;在迭代优化的过程中，通过动态调节视角权重系数来突出具有更好分离性的视角的权重，从而提高聚类性能。最后，在模糊聚类框架下首次使用交替方向乘子法Alternating Direction Method of Multipliers,ADMM)对LR-MVEWFCM算法进行优化求解。

文章思路

在本文中，我们令N为样本总量，D为样本维度，K为视角数目，C为聚类数目，m为模糊指数。设x表示多视角场景中第1个样本第k个视角的特征向量，j= 1…,N，k=1,…,K;Ui表示第k个视角下，第i个聚类中心，i=1…C:Uk=μiik 表示第k个视角下的模糊隶属度矩阵，其中μ是第k个视角下第j个样本属于第i个聚类中心的模糊隶属度,i=1,…,c,j=1,…,N。
本文在相关工作中回顾已有的经典模糊C均值聚类算法FCM模型[18和多视角模糊聚类Co-FKM模型9;将低秩理论与多视角香农熵理论相结合，提出本文的新方法:基于模拟数据集和UCI 数据集验证文本算法的有效性，并给出实验分析:给出实验结论。

模糊C均值聚类算法FCM

在这里插入图片描述

def fcm(V,X,U):
	for i in range(len(V)):#循环对应列表的次数
	A.append((X[i].sum(axis=1) - V[i].sum(axis=0))**2)
	A1 = sum(A)
	J_FCM = U*A1
	print('FCM算法的目标函数结果为：',J_FCM)

多视角模糊聚类CO-FKM模型

在这里插入图片描述

目标函数

在这里插入图片描述

def LR-MVEWFCM(B,U,w):

	#python求范数
	B_norm=np.linalg.norm(B, ord=None, axis=None, keepdims=False)
	
	U_norm=np.linalg.norm(U, ord=None, axis=None, keepdims=False)
	#U是矩阵
	w = [w1,w2,wk]
	
	
	
	
	LR_MVEWFCM_A = [] 
	for i in range(len(w)):
		LR_MVEWFCM = U**M*B_norm + θ*U_norm + λ*sum(w[k]*log(w[k]))
		LR_MVEWFCM_A.append(LR_MVEWFCM)
	
	
	#本文中的m等于2
	LR_MVEWFCM_A1 = sum(LR_MVEWFCM_A)
	print(LR_MVEWFCM_A1)

基于ADMM的求解算法

def U_problem(W.U,V):
	#W,U,V为输入,W为权重，U为矩阵上的值
	ADMM = w*U*B_norm + λ*sum(w[k]*log(w[k]))#λ=?
	
	
	
	#将最小化式改为如下问题(W,U,V,Z均为输入)
	Z_norm=np.linalg.norm(Z, ord=None, axis=None, keepdims=False)
	g(Z) = θ*Z_norm
	min_L = ADMM + g(Z)
	
	#V-子问题,w,u不变
	#v的t+1次幂 
	V = min(w_t*u_t*B_norm)
	
	
	#U-子问题,w,q,z固定
	U_Z_Q = U-Z-Q
	U_Z_Q_norm = np.linalg.norm(U_Z_Q, ord=None, axis=None, keepdims=False)
	min(ADMM)+α*(w-1)+sum(β*(u-1))+((ρ*(U_Z_Q_norm**2))/2)
	
	
	
	U = (ρ*z-ρ*q)/(2*w*B_norm)-sum((ρ*z-ρ*q)/(2*w*B_norm)-1)*1/(1/(((2*w*B_norm)+ρ)))*1/((2*w*B_norm)+ρ)
	print(U)

#W子问题
#固定V和U
import math
def w_problem(V,U):

	#math.exp( x )
	w = math.exp( - sum_N(sum_C(U*B_norm)/λ-1))/ math.exp(sum_K( - sum_N(sum_C(U*B_norm)/λ-1)))
	print(w)



#Z-子问题
#Q与U固定
def z_problem(Q,U):
	Z = min(Z)+((ρ*(U_Z_Q_norm**2))/2) = θ*Z_norm+((ρ*(U_Z_Q_norm**2))/2)
	print(Z)

#第21看不懂


#Q子问题,固定Z,U
def q_problem(Z,U):
	Q = Q+(ρ*(U-Z))/2
	print(Q)

在这里插入图片描述

讨论

与低秩约束算法比较
在这里插入图片描述
与多视角CO-FKM算法比较

实验

思路
在这里插入图片描述

实验参数

在这里插入图片描述
参数敏感性实验

结论

本文提出了基于低秩约束的熵加权多视角模糊聚类算法。该算法采用低秩正则项来挖掘多视角数据之间的一致性关系，并引入多视角自适应熵加权策略从而有效控制各视角之间的差异性,从而提高了算法的性能。在模拟数据集和真实数据集上的实验均表明，本文算法的聚类性能优于其它多视角聚类算法。同时本文算法还具有迭代次数少、收敛速度快的优点，具有良好的实用性。由于本文采用经典的FCM框架，使用欧氏距离来衡量数据对象之间的差异,这使得本文算法不适用于某些高维数据场景。