SIGIR21_Long-Tail Hashing阅读笔记

最新推荐文章于 2024-05-24 09:16:22 发布

RioLys

最新推荐文章于 2024-05-24 09:16:22 发布

阅读量173

点赞数

分类专栏：深度哈希文章标签： python 深度学习 Powered by 金山文档

本文链接：https://blog.csdn.net/weixin_47340312/article/details/128784885

版权

深度哈希专栏收录该内容

3 篇文章 0 订阅

订阅专栏

简介

深度哈希学习在图像检索等任务中应用广泛，将高维图像特征映射成低维的袖珍短小的哈希码，实际上实现了图片的降维。在哈希学习的过程中，相似的图片被映射成汉明距离相近的哈希码，不相似的图片被映射成汉明距离较远的哈希码。因此，将哈希学习应用于图片检索，有利于使用短小哈希码迅速计算图片相似度并得到准确的检索结果。

然而，哈希学习往往被训练于各类图片数量均匀的数据集上，对于现实中的很多场景而言，数据可能是不均匀分布的。例如，在世界杯期间，梅西的检索图片量可能会非常高，而其他许多类别的图片量会很小，使用这些呈长尾分布的数据训练模型时，传统的图像检索模型并不能有效地学习这样的训练数据，因此基于长尾分布数据训练的深度哈希检索模型也会被现实的检索系统所需要。

题主在基于工程的需要检索长尾分布哈希学习论文时发现了这篇文章，因此阅读本文并写下这篇笔记。如果小伙伴们在阅读的过程中发现错误请指正！

1.RELATEDWORK

本文是两个已有深度学习问题的结合：learning to hash 和 learning from long-tail data。

1.1Learning to hash

深度哈希学习在训练样本中学习哈希函数，并使用该函数将查询样本映射为二进制哈希码。基于深度哈希学习的方法基本可以分为以下三类。

Pointwise

以SDH方法为先导的pointwise方法，将深度哈希学习作为分类任务，训练一个分类层，并将测试样本作分类。

Pairwise

DPSH,Hashnet,CSQ等方法将深度哈希学习作为回归问题，先使用类标签建成哈希码，再在训练的过程中将各个类别训练得到的哈希码向建成的哈希码做回归。

Listwise

该方法被设计用于最大化标签的相关性列表和任何给定查询的计算排名位置之间的一致性。

1.2Learning from Long-Tail Data

长尾分布数据问题在深度学习的分类和检索任务中广泛出现，解决长尾数据的方法也多种多样。

Data resampling

数据重采样方法重塑原始不平衡数据集，将各个标签的数据呈现均匀分布的状态。这可以通过过采样（复制尾类中的一些样本），或欠采样（丢弃头类中的一些样本）的方式。尽管重采样在数据集不平衡时很有帮助，但它也带来了一些风险：复制太多的样本可能导致尾部类的过拟合，而丢弃太多的样本可能导致头部类的欠拟合。

Class reweighting

类权重分配方法在损失函数上给予不同类别不同的权重。该方法给大权重尾类和小权重头类。权重方法广义上类似于重采样方法,但通常他们的计算效率更高。

Knowledge transfer

知识转移是指在不同的类之间可以共享隐藏的知识，并通过元学习或注意机制来丰富数据表示。Liu等人设计了一种动态元嵌入模块，其将图像特征与对应的记忆特征相结合，以丰富头部和尾部样本的表示，这也是本文在处理长尾数据时使用的方法。知识转移方法的目标是丰富数据表示，而不是为下游任务重塑数据分布。

2.THE PROPOSED METHOD

本文提出的方法主要由四部分组成：1）特征提取部分，从input经过Backbone和一个FC+ReLU层得到 $\text{[math]}$ .2)拓展动态元嵌入模块，输入为 $\text{[math]}$ ，输出为 $\text{[math]}$ .3)哈希层函数h(x)（FC层+Tanh量化层），输入为 $\text{[math]}$ ，输出为哈希码h.4)分类层（FC层+softmax概率计算），输入为哈希码，输出为预测标签 $\text{[math]}$ 的概率分布。