【学习笔记】不完备数据下的多模态学习问题（更新中）

---

序言

解决什么问题？

本文主要是我在对非完备数据集场景下的多模态检索任务方法的学习。不完备特征表示（Incomplete feature representation）是在当今多模态场景下更常见的数据收集形式。
包括因数据传感器损坏而导致的数据收集失败、网络通信导致的数据损坏、数据隐私政策等。
例如，在文档/图像表示的网页分类中，文档和图像是两种模式，但有些网页只有文档或图像信息; 在跨网络的用户识别中，用户个体拥有多模态信息如档案特征、内容信息或链接信息，而有些用户由于个人偏好或隐私问题只有一种或部分模态信息。这些都会导致不完备特征表示情况的出现。

It is notable that the mainstream multi-modal learning approaches assume that training examples are with complete modalities.
Nevertheless, the assumption mentioned above is excessive, since there are many reasons for insufficiencies or incompleteness, including data collection failures from the damage of data sensors, data corruption by network communication, data privacy policies, etc.

这里提到说大部分的多模态学习方法的数据都基于了一个完备的假设，这些假设较为理想化。如果遇到不完备数据集的情况，可以采取一些直接策略，如删除数据或者对数据集采取填充缺失信息方法等，但这都会导致丢失信息以及引入额外的噪声

一些基本的方法

利用内在信息

Multiview clustering with incomplete views (2010): 提出了一个部分模态的方法，将一个模态的核矩阵作为相似矩阵，将另一个模态的核特征通过拉普拉斯正则化计算出来。

OMVC - Online multi-view clustering with incomplete views (2016): 学习每个个体不完全模态的潜在特征矩阵，然后将其推向共同的潜在空间(pushes them towards a common consensus)

Incomplete multi-modal visual data grouping (2016): 提出了一种无监督的方法，通过将原始的不完全数据转化为潜在空间中的新的完全表示，很好地处理了不完全的多模态数据。这些方法主要侧重于充分利用内在信息，即多种模式之间的一致性。

利用外部信息

SMGI - Multiple graph label propagation by sparse integration (2013): 集成多个图进行标签传播，利用图权重的稀疏性，可以很容易地淘汰不相关的图

SLIM(ICJAI '18)

优化函数构建

该方法不仅考虑的利用内在信息，还利用了外部的信息，是个综合的方法。本文考虑的不仅仅是某模态数据整体的不完备，还有局部的不完备。

举一个具体的例子，比如一个文本模态的新闻，假设用报道源来刻画其特征，报道源有BBC, 路透社，和卫报，则分别对应一个特征内容。如果这个新闻只有某一家或两家报道，那么这个新闻在该模态上是不完备的。如果全部报道了该新闻，则新闻是完备的，文中用这样一幅图来表示并且定义了$X_c$和$X_k$：

SLIM的定义式是$$\underset{W_k,b_k,F}{\min }\sum _{k=1}^K({\hat{L}}_k(F_k,F)+\frac{{\lambda }_2}{2}{\tilde{L}}_k({\hat{X}}_k,F))$$

其中前式代表第k模态的分类损失。后式同时考虑缺失模态的内外部信息。建立了一个联合变换矩阵分解的问题（joint transformed matrix factorization problem）$X_k\in {\mathbb{R}}^{N\times d_k}$代表用0填充后的包含缺失列的第k模态数据。$b_k，P_k\in {\mathbb{R}}^{N\times C}$分别代表偏置和指示矩阵，指示矩阵中若某一行对应的实例在该模态是非完备的，则整行为0，否则为1（也就是说每个模态都有一个这样的P矩阵，总共有K个。）

$$\begin{gathered} \underset{F_k}{\min }{\hat{L}}_k(F_k,F)=\ell (F_k,F)+\frac{{\lambda }_1}{2}r(F_k) \\ =\underset{W_k,b_k}{\min }\frac{1}{2{\eta }_k}\Vert {\hat{X}}_k{W}_k+{\text{1b}}_k^T\odot P_k-F\odot P_k{\Vert }_F^2+\frac{{\lambda }_1}{2}\Vert W_k{\Vert }_F^2 \end{gathered}$$

其中$F$代表对所有要学习的实例的预测值、${\eta }_k$第k个模态中的完备的实例数。
第二个分式的损失函数可以表示为
$$\begin{gathered} \underset{F}{\min }\frac{1}{{\eta }_k^2}\Vert {\mathcal{R}}_{\Omega }(M_k)-{\mathcal{R}}_{\Omega }(F{F}^T){\Vert }_F^2 \\ s.t.F^{{\Theta }_l}=Y,0\le F\le 1 \end{gathered}$$

其中$M_k\in {\mathbb{R}}^{N\times N}$表示实例的标签相似矩阵
$R(.)$的定义：如果第i和j个实例在模态k上是完整的，则表示为括号内的对应位置的值（第i行第j列），否则表示为0。在本文中，运用了半监督学习的方法，将有标签的，无标签的数据均同等的处理为F。F有约束$F^{{\Theta }_l}=Y$，其中${\Theta }_l$为已标注的数据的索引，即F中包含了Y的数据。F整体有标签的约束[0,1]。而本文采用了平方根误差（square-root loss）而非F范数刻画的最小二乘误差。根据Multivariate regression with calibration(2014)。本文提出了上述损失函数的平方根版本$$\begin{gathered} \underset{F}{\min }\frac{1}{{\eta }_k}\Vert {\mathcal{R}}_{\Omega }(M_k)-{\mathcal{R}}_{\Omega }(F{F}^T){\Vert }_F \\ s.t.F^{{\Theta }_l}=Y,0\le F\le 1 \end{gathered}$$

这种修改可以通过考虑所有模态的不同噪声水平来校准每种模态，并增加 SLIM 中第二项的鲁棒性（本质上让第二项的影响变小，因为优化）。综合上面两个分量的公式有综合的优化目标函数：$$\begin{gathered} \underset{W_k,b_k}{\min }(\frac{1}{2{\eta }_k}\Vert {\hat{X}}_k{W}_k+{\text{1b}}_k^T\odot P_k-F\odot P_k{\Vert }_F^2+\frac{{\lambda }_1}{2}\Vert W_k{\Vert }_F^2) \\ +\frac{{\lambda }_2}{2}\sum _{k=1}^K\frac{1}{{\eta }_k}\Vert {\mathcal{R}}_{\Omega }(M_k)-{\mathcal{R}}_{\Omega }(F{F}^T){\Vert }_F \\ s.t.F^{{\Theta }_l}=Y,0\le F\le 1 \end{gathered}$$

优化过程

SLIM的优化不是对所有分量都是凸优化的，具体的讲，对于$W_x{\text{b}}_k$是凸的，但不是联合凸优化。

---

${\text{b}}_i$的优化：
向量b有闭式解：
$${\text{b}}_k=\frac{1}{{\eta }_k}(F\odot P_k-{\tilde{X}}_k{W}_k{)}^{T}1$$

why？令优化的第一个term接近0，则$P_k$的每一列都乘以同一个偏置值。使总体的F范数最小，注意到$P_k$其实是一个indicator，表示该行对应的实例是否为完备数据，所以每一列的和都是${\eta }_k$个对应位置的1。所以第i列全部乘以${\text{b}}_i$的值，体现出来的就是每一列的总和是${\eta }_k$倍的${\text{b}}_i$。使F范数最小就要反推b的值，当b为每列的均值（仅考虑完备列）最小，即有上述闭式解

---

$W_k$的优化：
将上式闭式解代入（模拟一次迭代内的操作），则可得到新的目标函数为（7）从而求得闭式解（8）并改写为9

why(8)? 可以在Matrix Calculus上求解，就是一个简单的F范数求导问题。

---

如上文所述，当确定了${\text{b}}_k$和$W_k$的闭式解后，原方程可化简成$$\underset{F}{\min }tr(F^{T}HF)+{\lambda }_2\sum _{k=1}^K\frac{1}{2{\eta }_k}\Vert {\mathcal{R}}_{\Omega }(M_k)-{\mathcal{R}}_{\Omega }(F{F}^T){\Vert }_F$$

SLIM给出的方法是采用投影次梯度优化的方法。

SLIM-K(TKDE 21’)——SLIM的进一步完善

本文作者在19年重投了一遍SLIM方法的文章，并且提出了核化的SLIM方法SLIM-K。名为Semi-Supervised Multi-Modal Clustering and Classification with Incomplete Modalities该文章更详细更具体的对SLIM进行了描述。（SLIM方法在上文的描述中讲到“投影次梯度优化的方法”的时候就结束了，就是因为文章几乎一笔带过了这一部分。在这一篇SLIM的拓展中，对于该算法部分有了一个更具体的描述）

---

优化函数的构建和SLIM是类似的，将F换了个表述（早该换换了）：

而提出了SLIM-K有

此处在$M_v$和$\hat{Y}{\hat{Y}}^T$之间多了一个$[K_v{]}_{i,j}=\varphi ({\text{x}}_{i^v})\varphi ({\text{x}}_{j^v})$
对于投影次梯度法，SLIMK给出了算法的流程：

---

实验部分

【还没做这个实验TT，先读了方法看后面DAVAE去了，因为找不到源码和数据集所以还没做相关的复现】

NCH

一些概念

GAT

Graph Attention Network（GAT）是一种用于处理图数据的神经网络模型，它可以对节点进行分类、聚类、链接预测等任务。

GAT是基于注意力机制（Attention Mechanism）的一种图神经网络模型。在传统的图神经网络中，每个节点的表示是通过对所有相邻节点的表示进行加权平均得到的。而在GAT中，每个节点的表示是通过对其相邻节点的表示进行加权求和，其中权重是通过注意力机制计算得到的。这种方式可以更好地捕捉节点之间的关系，提高模型的性能。

具体来说，GAT包含多个注意力头（Attention Head），每个头都是一个单独的注意力机制，用于计算相邻节点之间的注意力权重。每个头独立地学习不同的权重，然后将所有头的输出进行拼接，得到每个节点的最终表示。

GAT的优点在于可以处理具有不同大小和结构的图，并且可以自适应地学习不同节点之间的权重。它已经在图分类、节点分类、链接预测和图生成等任务中取得了很好的表现。

下面是一个简单的GAT的代码实现：

import torch
import torch.nn as nn
import torch.nn.functional as F
class GATLayer(nn.Module):
    def __init__(self, in_features, out_features, dropout=0.5, alpha=0.2):
        super(GATLayer, self).__init__()
        self.dropout = nn.Dropout(dropout)
        self.alpha = alpha
        self.attention = nn.Linear(in_features, out_features)
        self.a = nn.Linear(2*out_features, 1)

	def forward(self, x, adj):
        h = self.attention(x)
        N = h.size()[0]
		a_input = torch.cat([h.repeat(1, N).view(N*N, -1), h.repeat(N, 1)], dim=1).view(N, -1,2 * h.size()[-1])
	    e = F.leaky_relu(self.a(a_input).squeeze(2))
	
	    zero_vec = -9e15 * torch.ones_like(e)
	    attention = torch.where(adj > 0, e, zero_vec)
	    attention = F.softmax(attention, dim=1)
	    attention = self.dropout(attention)
	
	    h_prime = torch.matmul(attention, h)
	    h_prime = F.elu(h_prime)
	
	    return h_prime
	    
class GAT(nn.Module): 
	def __init__(self, nfeat, nhid, nclass, dropout=0.5, alpha=0.2, nheads=8): 
		super(GAT, self).init() 
		self.dropout = nn.Dropout(p=dropout) 
		self.attentions = [GATLayer(nfeat, nhid, dropout=dropout, alpha=alpha)for _ in range(nheads)] 
		for i, attention in enumerate(self.attentions): 
			self.add_module('attention_{}'.format(i), attention) 
			self.out_att = GATLayer(nhid*nheads, nclass, dropout=dropout, alpha=alpha)
	def forward(self, x, adj):
	    x = self.dropout(x)
	    x = torch.cat([att(x, adj) for att in self.attentions], dim=1)
	    x = self.out_att(x, adj)
	    return F.log_softmax(x, dim=1)

本文中对于近邻信息的处理分为三类：KNN，GAT以及TEs，但主要是围绕着TEs展开的。

Transformer Encoder

也是看了这篇文章才开始学习Self-Attention，Encoder Decoder和Transformer等内容的。这篇文章用了Self-Attention的方法，但是$QKV$的确定和一般的自注意力机制的work比其实差别还挺大的（我不确定是不是多模态的工作都是这么做的）
以下是我对这部分的个人理解：
我们从两个包含缺失的模态补齐来看，这样的话，将数据拆开其实包括了两类以及每类中有两个部分：完整模态的data - textual complete data & visual complete data；缺失模态的data - incomplete data of one modality & complete data of the other modality
我们可以用两个模态的数据以及缺失模态数据中的完整部分来推理出缺失模态的缺失部分，这个思想是很基础的，在GAT包括KNN的方法里，其实本质上都是这样一个三推一的过程。

但是这篇的Transformer还是很有意思，他的q是缺失模态（文本模态）的非缺失部分（好像本文仅讨论了图像模态缺失的情况）去乘以参数矩阵$W_q$，K是文本模态的Anchor去乘以参数矩阵$W_k$，正好能够跟q进行对齐，V则是anchor对应的图像信息乘以参数$W_v$
这样正好满足了self-Attention中这三个参数的意义，最后产生经过Attention加权后的每个自己的意义（图像的特征）从而生成了相应的补全图像特征。

但NCH提出，这还不够。

NCH正文

framework

NCH是为数不多的基于非完备信息的跨模态哈希方法，这篇2023年的文章提出当前的非完备跨模态哈希中能够处理信息部分缺失的只有SAPMH，也就是说和我（就是这个ALOKA）所关注方向完全相同的哈希方法里仅有这两篇，所以这两篇都会着重讲一下，实验里也用的是SAPMH的baseline进行对比，效果有明显的提升。
首先看一下NCH的完整框架图

这里除了模态信息的图例外，还有一些生成器（编码器）的定义在正文中，在这里大致讲一下整个流程：

1. 模态信息读取分类，然后根据机器学习方法，产生一个由近邻数据推断出来的补充数据集合（completed feature），这种近邻的学习表示为N(Neighbour learning)
2. 获取了近邻信息推断出的缺失模态数据后，还不足以用其表示整体的缺失数据，因为根据所用的图学习方法或Attention机制，生成的近邻数据和锚点的选择关系很大，所以作者用了一个更加泛化的全连接网络（多层感知机）来作为实际的模态补全的编码器。
3. 将N生成的补全模态作为监督信息，监督多层感知机的训练监督信息。在实验中，这部分训练分为了两个阶段：一是训练transformer的warm-up阶段，由于目的是训练G，所以warm-up的epoch不是很多（注意，transformer的训练用的是完备数据）；二是根据训练好的transformer生成的监督信息来相应的对多层感知机进行监督，训练基于多层感知机的特征生成器。
4. 哈希函数学习（H）仅仅用了一层FC层来实现（确实是一层线性变换就行，不会过拟合，无论是传统机器学习方法还是深度方法，无论是联合学习还是两阶段学习，都会使用线性的生成器）最终哈希码的评估，依靠哈希码的余弦相似度和标签负对数放缩相似度之间的相似度作为损失函数来实现
5. fusion model（F）来实现模态聚合，把两个模态的特征相加然后聚合成共同的哈希码（为什么可以这么做？因为每一个模态的特征其实每个维度都对应的一个anchor，所以生成的feature每个维度其实也是相对应的，这里其实可以有一个调控的融合参数（一些fusion相关的跨模态方法提出了将权重变为一个可以学习的参数，因为不同模态的信息承载能力不同））
6. 用sign函数来生成二进制码，quantization loss用来监督生成二进制码的效果。（这里是否真的有必要，我不是很清楚应该如何去避免其中较大的量化损失，浅层方法中会用**旋转矩阵（参考ITQ）**来对特征进行一定的偏移来提高效果，但深度方法中旋转矩阵没办法高效的被学习）

$\mathcal{N}$-step近邻学习

非完备多模态方法的模态补全的思想，是根据邻居推测内容，而邻居是根据完整模态信息和锚点（图文数据均完整）的相应模态信息来计算出来的。一个最朴素的方法是KNN的方法，最后将k-nearest的数据来直接平均计算，这是快但很粗糙的方法，当数据种类很多的时候，对anchor的要求相应的会高很多；文中还提到了GAT的方法，就是上文提到的图注意力网络，计算方法为$$\begin{gathered} \widetilde{{\text{x}}_i^t}={\text{s}}_i{\text{X}}^a{\text{W}}_g \\ s.t.s_{ij}=\frac{exp(LeakyReLU([{\text{y}}_i^t{\text{W}}_1][{\text{y}}_j^a{\text{W}}_2]){\alpha }^T}{{\sum }_{k}exp(LeakyReLU([{\text{y}}_i^t{\text{W}}_1][{\text{y}}_j^a{\text{W}}_2]){\alpha }^T} \end{gathered}$$
其中x为缺失模态，W为学习的矩阵参数
随着Transformer近年来的突飞猛进，本文的核心内容——基于Transformer的模态补全策略。QKV生成策略如下，现在完整模态信息对应的内容下（即q&K）做self-attention，获得到一个权重的编码，权重再加到V上面，即加到缺失模态下锚点所拥有的缺失模态信息（eg.文本模态缺失，则是锚点的文本模态信息，因为锚点是模态完整的所以维度一致）

CLAM（TIP '19）

问题分析

partial cross-modal hashing有哪些challenge？

1. 信息不完整
2. 无法保证的的模态间一致性：如果我们分别学习特定模态的表征，那么由缺失样本引起的不利影响就会被削弱，因为学习过程是在每个模态上独立进行的。但是，对于出现在两种模态中的对象，如何确保上述相似性关系或散列代码的模态间一致性仍然不清楚

做了什么？

1. 提出CALM：包含了三个模块，collective affinity reconstruction, adaptive affinity fusion 以及 neighborhood information feedback。
2. 将信息不完整的问题通过协同亲和重构解决。
3. 融合了不同模态的近邻信息。用自适应的affinity fusion的方法（我实在不知道这个affinity应该怎么翻译）实现了线性复杂度，快速收敛。
4. 用近邻信息来作为“feedback”，对CALM的训练采用自我引导的机制的训练。

Motivation & framework

本文启发于Collective Learning，这是一个教育学的概念，是一个知识产生的过程。具体内容如下例：

假设有n个人，他们有不同的专业背景。对于一个新的概念，他们的观点可能是不同的，互补的。基于此，每个人都可以通过CL获得到新的知识，并且修正其原本的知识。
三个key component:

1. 学习过程的目的是让每个人在最后拥有完整的知识。因此，CL应该是所有人的综合化的总成的知识。
2. 每个人更倾向于听与自己志同道合的人，因此，邻居对于学到的知识的影响是很大的。
3. 学习过程以及邻居信息都是动态的。

作者认为，不完全性和互补性是伴随出现的，所以采用CL策略。学习效果可以随着个体的信息被传播，扩散并分享而增强。

上图为CALM的framework，将整个方法分为了三个部分：

1. affinity reconstruction. 缺失的样本的亲和性重构。具体地，在上图虚线（代表对应关系）的监督下进行缺失模态的集体重建。（对应总成知识学习）
2. adaptive anchor graph learning. 为了融合计算好的不同模态中数据到锚点的亲和性，引入了锚点图。（对应近邻学习）
3. feedback. 通过邻居信息作为反馈，是CALM自指导地学习。（对应学习和近邻信息动态变化）

论文及本博客均按照顺序对这些方法进行介绍。

Model construction

Collective Affinity Reconstruction

公式定义：
${\mathcal{T}}_c=\{({\text{x}}_i^{(1)},{\text{x}}_i^{(2)})\}$： 表示$n_c$个实例对，包含两种模态的完整数据
T 1 = { x i + n c ( 1 ) } i = 1 n 1 \mathcal T _1=\{\textbf x_{i+n_c}^{(1)}\}_{i=1}^{n_{_1}} T1​={xi+nc​(1)​}i=1n1​​​： 表示$n_1$个实例对，仅包含模态1的数据
T 2 = { x i + n c + n 1 ( 2 ) } i = 1 n 2 \mathcal T _2=\{\textbf x_{i+n_c+n_1}^{(2)}\}_{i=1}^{n_{_2}} T2​={xi+nc​+n1​(2)​}i=1n2​​​： 表示$n_2$个实例对，仅包含模态2的数据

---

亲和锚点图
本工作借鉴了锚点图的思想[71-73]。首先从完整数据中选择m组锚点$\{({\text{u}}_j^{(1)},{\text{u}}_j^{(2)}){\}}_{j=1}^m$，从而定义了矩阵${\text{Z}}^{(l)}$来描述第$l$模态的数据-锚点亲和性：

这里实际上对许多锚点方法中进行了一个再简化，上公式中${\mathcal{N}}_i^{(l)}$表示第$l$模态上对样本点 i 的一个k近邻。也正因此，构建出来的${\text{Z}}^{(l)}$矩阵是一个稀疏矩阵，同时由于是表示样本和anchors之间的关系，这也是一个二部图的表示。这个矩阵中的$i$是取自所有实例的，也就是说缺失模态的样本也应该能够有一个相应的值。如何去填补这个空缺就是关键问题。

---

稳定随机游走
Stationary Markov random walks可以被用在二部图上。亲和力的值可以被看作为单步过渡概率。如果某个实例的模态缺失，则无法直接计算获得其过渡概率$p^{⟨1⟩}({\text{x}}_i^{(1)}|{\text{u}}_j^{(1)})$。“幸运的是”，${\text{x}}_i^{(2)}$可以计算出$p^{⟨1⟩}({\text{x}}_i^{(2)}|{\text{u}}_j^{(2)})$原因如下。

$p^{⟨1⟩}(x|y)$ 表示从节点 $y$ 转移到节点 $x$ 的概率。其中，上标 $⟨1⟩$ 表示这是一阶（first-order）转移概率，即只考虑当前节点和它的一阶邻居节点之间的转移概率。在 SMRW 中，一阶转移概率是最常用的转移概率，因此通常会在符号上标注 $⟨1⟩$，以区别于更高阶的转移概率。
之前那个图其实有一些不完整的地方，他没有详细说明，就是不同模态的x之间和不同模态的u之间也会有一个二部图，而这个是一个平凡的一对一的单射关系，这也是为什么它可以向公式(2)、(3)那样做近似。
可以参考Learning_of_Multimodal_Representations_With_Random_Walks_on_the_Click_Graph

Adaptive Affinity Fusion

remark1
主要做的是将两个${\text{Z}}^{(l)}$矩阵进行融合，采用的也是基于概率的策略。
首先根据原本的近邻关系很容易可以按照[0,1]空间内取反来获取一个对应的距离矩阵（距离越近越相关，也就是说近邻的1代表距离的0），定义${\text{D}}_{ij}^{(l)}=1-{\text{Z}}_{ij}^{(l)}$，则可以用一个朴素的思想转换为如下优化问题：

w是不同模态刻画相似的一个非负的参数。这个地方的损失函数是否太随意了点呢？我的理解每个模态用F范数来算可能效果会好一些。。
和Z类似的，定义了$\text{D}={\sum }_l{w}^{(l)}{\text{D}}^{(l)}$，目标函数变为${\sum }_{i,j}{\text{D}}_{ij}{\text{Z}}_{ij}$
作者又提出，这个优化函数也有一个平凡的有化解，对于每一列都是一个one-hot向量，在D每一行最小的对应位置上取1，其他位置取0。但是这违反了k近邻选锚点的意图（why？）所以作者的设计是设计对应的k个非0项。但是如何避免one-hot的出现呢？答案是增加一个正则项来约束。
又一次“幸运的”，作注意到这么一个新的优化问题：

有解${\text{Z}}_{ij}=\frac{1}{m},\forall i,\forall j$
上面结论根据基本不等式得到。作者认为这就是上述问题的理想化正则项的样子（反正就是往平均的拉呗）于是乎获得了带有正则项的优化函数。

---

remark2
对于无监督的任务，需要调整的参数越少，模型将拥有强大的鲁棒性。由于参数可以在大范围内搜索，在各种w (l)上追求良好的性能可能是难以实现的。
6，作者决定直接把这个参数删了
然后添了个根号，称其为weight-adaptive model，具体怎么做到了“自适应权重”在后文提到。（section IV-A ）

在第IV-A节中，我们将揭示我们对模型（8）的优化在迭代过程中自动学习权重，这在无监督任务中具有明显的优势。同时，第IV-A节将讨论如何通过为每个物体选择适当数量的最近的锚点对来确定参数α的值。

Neighborhood Information Feedbac

为什么要这么做？注意到选锚点的时候，是不同模态单独去进行选择，所以可能出现一个实例在不同模态上选择的锚点不一致的情况。解决这个额问题，本文把${\text{Z}}_{ij}^{(l)}$的定义进行了修改，是其不再选择近邻k个锚点而是选择所有锚点，即改写成这样：

具体如何做feedback在后文提到

优化（摆烂警告）

优化过程

对于数学基础较弱的我来说，这个优化是震撼的，逆天的，模糊的，抽象的。。。由于主要是研究思想，优化部分这里不详细描述。这里讲一下如何feedback以及如何自适应学习：

自适应 依靠共轭函数的引入而再次引入（详细见原文Lemma1）。（为什么不直接在优化部分里做这个处理，我还以为真不要这个w了）
feedback 通过公式12可以算出一个非稀疏的Z矩阵来。这个矩阵可以对原本的每个数据的近邻锚点集合进行修改。然后根据这个再重新学习新的Z矩阵

其实CALM方法主要还是基于AGH方法（这个应该在我的综述里面提到过）整体基于锚点图来进行哈希码的学习。学到的Z是个基于概率表示的，两个模态融合的锚点图。直接喂给AGH模型再进行Hash function learning（线性回归）就可以得到最终的结果。
= =害挺麻烦

双对齐变分自编码器DAVAE（MM '20）

我先看的NCH这篇，但是提到了DAVAE并且之前看了一点点DAVAE的东西，在这里先挖个坑。
DAVAE是基于差异自动编码器（VAE）实现的，通过VAE来学习不同模态的一个共同的潜在语义表示，然后进行双对齐——不同模态的分布情况对齐与语义信息对齐

一些基本知识

VAE

VAE（Variational Autoencoder）是一种生成模型，它是一种基于神经网络的自编码器（Autoencoder）的扩展。VAE 的主要作用是学习数据的潜在表示，并通过这个潜在表示生成新的数据，例如图像、音频等等。

与传统的自编码器不同，VAE 不仅学习数据的压缩表示，还学习数据的分布信息。具体来说，VAE 假设数据是由一个隐变量和一个可观测变量组成的联合分布，然后通过最大化这个联合分布的对数似然来训练模型。在训练过程中，VAE 的目标是学习一个编码器和一个解码器，编码器将数据映射到一个潜在空间中的分布，解码器则将潜在空间中的样本映射回原始数据空间中。在生成新的数据时，VAE 从潜在空间中采样，然后使用解码器将样本映射回原始数据空间中，从而生成新的数据。

在实际应用中，VAE 被广泛用于图像生成、图像重构、数据降维等任务中。它的优点是能够学习数据的分布信息，并能够生成具有多样性的新数据。同时，在训练过程中，VAE 还能够在一定程度上避免过拟合的问题。

当谈及VAE的实现时，它通常被分为两个部分：编码器和解码器。下面将分别讨论编码器和解码器的实现以及VAE的实现：

编码器实现
编码器的作用是将输入数据 x 映射到潜在空间中的分布 q(z|x)。在VAE中，通常使用神经网络作为编码器，例如多层感知器（MLP）或卷积神经网络（CNN）。编码器的输出通常是潜在空间中的均值和方差，可以通过以下公式计算：
z_mean, z_log_var = encoder(x)
其中，z_mean 和 z_log_var 分别表示潜在空间中的均值和方差。
解码器实现
解码器的作用是将潜在空间中的样本 z 映射回原始数据空间中，从而生成新的数据。在VAE中，通常使用神经网络作为解码器，例如MLP或CNN。解码器的输出通常是生成的数据 x_hat，可以通过以下公式计算：
$\hat{x}=decoder(z)$
其中，z 表示潜在空间中的样本。

VAE实现
VAE的实现基于最大化联合分布的对数似然，可以通过以下公式计算：
$logp(x)>=E[logp(x|z)]-KL(q(z|x)||p(z))$
其中，$E[logp(x|z)]$ 表示重构误差，$KL(q(z|x) || p(z)) $表示正则化项，用于约束潜在变量的分布与先验分布 $p(z)$ 的差异。这个公式中的重构误差可以由解码器产生，而KL散度则可以由编码器和先验分布产生。

在VAE的训练过程中，我们需要最大化上面这个公式的下界，也就是最小化以下损失函数：

$L(x,x_{h}at,z_{m}ean,z_{l}o{g}_{v}ar)=-E[logp(x|z)]+KL(q(z|x)||p(z))$
其中，x 表示输入数据，x_hat 表示解码器生成的数据，z_mean 和 z_log_var 表示编码器输出的潜在空间中的均值和方差。

在实际实现过程中，我们可以通过以下步骤来训练VAE模型：

1. 定义编码器和解码器的网络结构，以及潜在变量的维度大小。
2. 定义损失函数，包括重构误差和KL散度。
3. 通过随机采样的方式从编码器的输出中生成潜在变量 z。
4. 使用解码器将潜在变量 z 映射回原始数据空间中，从而生成新的数据 x_hat。
5. 计算损失函数，并通过反向传播算法更新编码器和解码器的参数。
   
   重复步骤 3-5，直到达到预设的训练轮数或者损失函数收敛。

需要注意的是，在实现VAE模型时，我们还需要对潜在变量的分布进行一些限制，例如将其限制为标准正态分布或者均匀分布。这样可以保证模型在生成新的数据时，具有一定的多样性和可控性。
总的来说，VAE模型在深度学习中具有广泛的应用，在图像生成、图像重构、数据降维等任务中取得了很好的效果。
当然现在，我们就把他当做一个生成模型来看待，进入DAVAE的学习8

概述

显然，不完整的CMR必须解决两个问题：不同模态之间的异质性和训练实例的不完整性。在本文中，我们提出了一个统一的框架来同时挑战这两种情况。
一方面，我们训练多个自动编码器，每个模态一个，以学习模态不变的表征。具体来说，我们鼓励每个模态的编码器将原始模态特定的表征编码到一个共同的潜在空间，该空间由所有模态共享。
鉴于共同的潜在表征，我们在分布层面和语义层面进一步对齐它们。具体来说，我们最大限度地提高不同模态的联合分布的门槛，使它们在潜空间中的分布一致，这有助于减少模态的差距。
此外，我们使用标签信息来监督潜在表征的学习，并增强它们的可辨别性。这样的双重对齐保证了所学的表征是模式不变的，从而解决了异质性的挑战
另一方面，我们利用生成模型来完成不完全性。具体来说，我们部署了变分自编码器（VAEs）来生成缺失模态的表示。可用模式的潜在表征和其生成的对应物之间的差异被最小化，以提高它们的相似性。部署VAE至少有两个好处。其一是它遵循我们用来处理异质性的编码器-解码器范式。另一个原因是，与GANs相比，VAEs是稳定的，易于训练的。通过部署VAE，我们将不完全CMR转换为一个有监督的CMR问题，也解决了不完全性问题。

综合下来DAVAE的核心有三点

1. 自动编码器
2. 分布语义双对齐
3. 标签信息监督

之后也会根据这三个内容进行建模。
首先来看一下整个DAVAE的framework

解释一下这个框架。每个模态的样本都被编码到一个共同的潜在空间中（最小化语义鸿沟）。学习到的${\text{z}}^a,{\text{z}}^b$是模态不变的表征，然后对这两个表征进行强制的双对齐的操作。此外，还为缺失的模态生成了潜在的表征。（这不应该是重点吗为什么是“此外”？）

本文在讲创新点时，拿CALM进行了对比。作者提出其中有三点不同：一是DAVAE是有监督的方法，增加了监督信息；二是DAVAE是直接用变分编码器来生成潜在表示，而不是想CALM来构建二部图来形成补充的锚点图（会造成对存储空间的巨大需求）

模型构建

Notations

这不赘述了。

Method Overview

总体的目标函数有$\mathcal{L}={\mathcal{L}}_{VAE}+{\mathcal{L}}_{SA}+{\mathcal{L}}_{DA}+{\mathcal{L}}_G$（最小化损失函数）
其中有${\mathcal{L}}_{VAE}$表示所有VAE的损失，${\mathcal{L}}_{SA}$表示semantic alignment的损失，${\mathcal{L}}_{DA}$表示distribution alignment的损失，${\mathcal{L}}_G$表示generation的损失。其中前三个损失是为了减少不同模态的异质性，而最后一个损失是减少实例的不完整性。（前三个注重于模态间，第四个注重于生成实例）

VAE（差分自编码器）

用来产生一个较为模糊的样本补全表示。（这篇文章后面看了看感觉incomplete的部分并没有怎么体现出来，代码没开源的情况下不想在这个上面去做实验，可能直接忽略掉VAE部也能够有比较好的效果）

---