多视图数据缺失补充

摘要

• papaer：Deep Partial Multi-View Learning【CPM-Nets】

• 期刊：PAMI2020

• 目标：建模不同视图间的复杂相关性，特别是在视图缺失的背景下。

  • 提出了一种新的框架，称为跨部分多视图网络(CPM-Nets)，能够充分和灵活地利用多个部分视图
  • 首先给出了多视图表示的完整性和通用性的正式定义
  • 理论上证明了学习到的潜在表示的多功能性
  • 为了实现完整性，学习潜在的多视图表示的任务通过模拟数据传输被具体地转换为一个退化过程，从而可以隐式地实现不同视图之间的一致性和互补性之间的最佳权衡
  • 采用对抗策略，我们的模型稳定地输入缺失的视图，将每个样本的所有视图的信息编码为潜在表示，以进一步提高完整性
  • 引入了一种非参数分类损失来生成结构化表示并防止过拟合，这使该算法在视点缺失情况下具有良好的泛化前景

• 另外本工作将标签的不完整可能也进行了考虑

背景

• 相关背景：
  • 多视图学习，交叉视图学习，不完整数据学习
  • 多视图问题数据复杂，且常见数据缺失
  • 完整性与灵活性
• 一些解决方法
  • 低秩：不适合blockwise数据
  • 缺失模态推断：要配对训练
  • 手动分组多个模型再融合：不灵活，麻烦
• 贡献：
  • 提出了一种新的框架-cpm-net-来进行部分多视图学习，它联合考虑完整性和结构来学习一个单一化的潜在表示，使算法对部分多视图数据处理具有较高的灵活性和泛化性。
  • 测编码的潜在表示是完整和通用的，提高了预测性能。同时，聚类分类模式反过来增强了潜在表示的可分离性。在分类方面的理论分析和实证结果验证了所提出的CPM-Nets在利用部分多视图数据方面的有效性。
  • 对于无监督学习，使用退化策略，来自观察视图的信息被灵活地编码到学习到的表示中。同时，利用对抗策略，进一步稳定，提高了潜在表示。
  • 在不同多视图数据上的大量实验表明，与目前的结果相比，所提出的CPM-Nets可以改进统一的表示、分类和数据推断。

方法

• 定义：

  • PMVC(Partial Multi-View Classifification)：即有一训练集$[S_n,y_n{]}_{n=1}^N$ ,其中$S_n$是完整观察空间$X_n=[x_n^{(v)}{]}_v^V=1$的一个子集。
  • Completeness for Multi-View Representation：如果一个表示$h$是完整的，那么每个视图$x^{v}from[x^1,...x^V]$都能通过某种数值稳定的方式从h重建出来，即$x^v=f_v(h)$。
  • Versatility for Multi-View Representation：即如果样本X能推出标签y，那么样本X的多视图表示h也能推出标签y。

• 问题挑战：

  • 具有随机视图缺失的样本隐空间——可比较性
  • 学习到的表示能够反应类分布——可分离性
  • 减小测试阶段与训练阶段获得表达的间隔——一致性

• 流程：
  

  • 核心思想：让h能够最大程度上回推S，y

  • 参数描述：${\Theta }_r$，h到S的映射f参数；${\Theta }_c$，h到y的映射g参数；$S_{nv}$，完整度flag，缺失为0；$\lambda$，有偏损失函数权重

  • 具体流程：衡量回推的S，y与真实值的差，并梯度下降更新参数

    • S，真实值与回推值：
      

    • y，真实值与回推值：
      
      这里的回推过程相当于对h进行一个聚类，F类似于核函数,其聚类结果公式为：
      

    • 总Loss：
      

网络

• 网络图：
  

• 编码算法：似乎没细写

• 分类算法：本文中为简单考虑，设计为：
  

无监督与生成对抗网络

• 强制每个视图中缺失数据生成的数据，以服从观测数据的分布
  
• 具体流程
  

参考

【1】PAMI 2020｜基于深度对抗方法处理视图缺失的多视图学习 - 云+社区 - 腾讯云 (tencent.com)

【2】多视角学习|CPM-Nets：交叉不完全多视角网络 - 云+社区 - 腾讯云 (tencent.com)