1.前言
现有的PMVC方法旨在建立一个具有完整视图的共享潜在子空间,然后对缺失数据的潜在表示进行补偿。分为两类:①基于核的方法。②基于非负矩阵分解。
两种方法仍然有一些局限性。(1)它们需要一起处理所有的数据,并且将其用于大规模数据集是低效的。(2)矩阵分解需要大量的逆运算,导致时间复杂度很高。(3)它们主要利用一些正则化,并在新表示上添加一些约束,但未能显式地补偿每个视图中丢失的数据
2.原理介绍
符号表示:多视图数据矩阵 X={X(1),(2),...,X(V),X(v)={X1(v),X2(v),...,XN(v)}∈R N*dv(v=1,2,...,V),其中v是视图的数量,N是样本的数量,dv是第v个视图的特征维度。
我们将视图分成了两部分:(1)一个是所有视图都完整的成对数据{x(1),x(2),...,x(V)}。(2)另一个是未配对的有数据缺失的数据{x'(1),x'(2),...,x'(V)。图3中我们使用{x~(1),x~(2),...,x~(V)分别表示每个视图的缺失数据或者是生成数据。
网络框架:它由五个子网络组成:编码器网络E、加权自适应融合层、深度嵌入聚类层、生成器网络G和鉴别器网络D。对应于每个视图,我们的模型有五个编码器,一个融合层,一个聚类层,五个生成器和五个鉴别器。我们将模型详细介绍如下。表一给出了主要网络部分的描述,其中dv是第v视图特征的维数,dhi是编码器/发生器网络中视图专用全连接层的输出/输入维数。m是编码器/发生器网络中共享全连接层的输出/输入维数。
插图:对于部分多视图数据,实线框中的数据是完整的成对数据,而红色虚线框中的数据是部分数据。
1.编码器E:将第