2021_BTH_Self-supervised Video Hashing via Bidirectional Tranformers

Abstract:

• 现有的大多数无监督视频哈希算法是建立在单向模型上，训练目标不可靠，没有充分利用帧间的相关性和视频间的相似性结构。为了高效的可伸缩视频检索，我们提出了一种双向变换(Bidireactional Transformers Hashing,BTH)的自监督视频哈希方法。基于变换器的编解码结构，我们设计了一个视觉完形填空任务以充分利用帧间的双向相关性。为了揭示未标记视频数据之间的相似性结构，我们通过在视频空间中建立可靠的有效的相似性连接，进一步开发了相似性重建任务。此外，我们还开发了一个集群分配任务，以利用整个数据集的结构统计信息，从而学习更多的判别性二进制代码。在FCVID,ActivityNet和YFCC三个公共基准数据集上进行的大量实验证明了我们提出大方法优越性。

Conclusion

• 在这项工作中，我们提出了一个用于可伸缩视频检索的自监督哈希方法BTH，BTH通过双向变换器有效捕捉帧之间的相关性，以学习判别性哈希函数。基于变换器的编解码结构，我们设计了三个自监督学习任务来充分捕捉视频数据中的相似结构：一个视觉完形填空任务，该任务基于掩膜输入重建原始输入帧；一个相似性重建任务，该任务使生成的二元向量对的相似性与预先建立的成对相似性一致。一种集群对齐任务，强制执行与伪群集中心对齐的潜在嵌入。在三个广泛使用的基准数据集上的实验证明了我们提出的方法优于现有的方法。在未来，我们可以尝试不同的帧采样策略来进一步提高检索性能。