论文阅读04：Deep Triplet Hashing Network for Case-based Medical Image Retrieval

非常好的一篇医学图像检索文章，MIA一区。注意力机制是本文的亮点。更加幸运的是作者开源了代码。
这个团队已经沿着注意力机制发了好几篇文章了。而且都有代码。
代码地址如下：

https://github.com/fjssharpsword/ATH

---

Keywords: Medical Image Retrieval,
Deep Hashing Methods, Spatial Attention, Region of Interest, Triplet Labels

摘要
现有方法的问题？
现有的深度哈希方法在基于病例的医学图像检索方面的小样本排序性能较差。
原因是什么？
由分类、感兴趣区域(ROI)和散希空间中的小样本信息丢失造成的。
为了解决这个问题作者怎么做？
为了解决排序问题，我们提出了一个端到端框架，称为基于注意的三重哈希(ATH)网络，以学习保存分类、ROI和小样本信息的低维哈希码，我们在ATH的网络结构中嵌入一个空间注意模块，以关注ROI信息。空间注意模块通过沿通道轴联合利用最大池、元素最大值和元素平均操作来聚合特征地图的空间信息。为了强调分类在区分基于案例的医学图像中的重要作用，我们提出了一种新的三重交叉熵损失，以在模型训练中同时实现最大的类可分性和最大的哈希码可别性。三重交叉熵损失可以帮助将图像的分类信息和图像之间的相似性映射到哈希码中。此外，通过在模型训练过程中采用三重标签，我们可以充分利用小样本信息来缓解样本不平衡的问题。
最终实验证明。
在两个基于案例的医学数据集上进行的大量实验表明，与最先进的深度哈希方法相比，我们提出的ATH可以进一步提高检索性能，并提高对小样本的排名性能。与其他损失方法相比，三联体交叉熵损失可以提高分类性能和哈列可判别性。

介绍。
医学图像分类只是对专家临床决策的一种补充，但是也会影响专家决策，为避免专家解释差异，CBIR系统可以提供参考。CBIR的目标是通过索引和挖掘大型图像数据库，根据大量候选对象与查询的相关性，产生细粒度排名(Zhouetal.，2017)。实际上，这有助于创建一个类似于查询的上下文，从而帮助进行基于证据的临床决策。

目前研究重点是数据依赖的方法（两阶段或端到端的方式学习哈希函数），两阶段方式缺点，两个独立阶段之间的相似性可能无法通过手工制作的特征得到最佳的保留。因此，人们提出端到端训练深度哈希。。

目前，深度哈希在医学图像上的应用：肿瘤评估，胸部x线图像等。然而，（又提了一下摘要里面提到的问题）然而，通过现有的哈希方法学习到的哈希代码通常会丢失与分类、感兴趣区域(ROI)和小样本相关的信息。然后给了一幅图示例。负图像比正图像更类似于查询图像。为什么呢，就是由于以上文图没有很好的解决引起！

一句话，发现小的特征，充分利用有关小样本及其类的信息

将空间注意力机制嵌入到CNN之中，以捕获ROI。
为了解决非平衡问题，使用三重标签。

关注点：深度哈希学习
CNNH，DH，DHN，SFLH，DSRH，DSCH，

用于排序的数据标签通常是：成对标签or三联体标签。

说了一大堆，一个意思：三联体标签有效。

the average-pooling and max-pooling applied in CBAM

we utilize 
max-pooling, 
element-wise maximum,
and element-wise

网络架构

空间注意力机制计算公式：

M(F) = T(F ([MLP(Favg); MLP(Fmax); MLP(Fmaxp)])), (2)

相似性和分类信息应该同时保留？

说的花里胡哨本质就是三元组损失

没有激活特征使得其二值化（也有可能我看源码没看仔细，）如果真这样…