3.30.2023

        今天主要任务是精读一篇研究方向相关的论文。

引用格式：

KHORRAMSHAHI P, PERI N, CHEN J cheng, 等. The Devil Is in the Details: Self-supervised Attention for Vehicle Re-identification[M/OL]//Computer Vision – ECCV 2020,Lecture Notes in Computer Science. 2020: 369-386. http://dx.doi.org/10.1007/978-3-030-58568-6_22. DOI:10.1007/978-3-030-58568-6_22.

创新点：

1.本文就车辆重识别过程中需要额外的注释信息会增加样本的代价出发，提出了一种自监督的方法来自动突出显示车辆图像的显著区域，设计了一种变分自编码器(VAE)来提取不带细节特征的车辆图像的粗糙建模，然后用原图像减去生成图像，就能得到两者之间的像素差异，而这个差异包含了所有的重识别任务所需的关键细节。

网络结构：

VAE的内部结构：

 

 损失函数：

（1）在自监督残差生成阶段采用了MSE和KL散度作为损失对VAE进行训练。

其中采用了重参数化方法（Re-parameterization）。

（2）在特征提取阶段采用了常用的三元组损失和分类损失，其中三元组损失使用了难正负样本作为输入进行计算。

 （3）最终的损失函数为：

注意力可视化对比：

 

 

数据集：

 性能表现：

（1）对比实验：

（2）与SOTA对比：

（3）消融实验：

不同图片生成方法的对比：

不同发散系数下的KL散度对比：

 不同输入的组合对比：

A.只将VAE生成的图像输入特征提取部分；

B.只将原始图片与生成图片相减得到的残差图片输入特征提取部分；

C.使用残差映射通过逐点矩阵乘法来激发车辆的实际图像，并将其输入特征提取部分；

 D.将残差图像和原始图片进行拼接，得到一个6通道的张量，并将其输入特征提取部分。

补充：

        本文还是用了学习率热身，随机擦除增强，标签平滑化，批归一化等方法。

思考：

        本文的优点在于基于注意力对图片的细粒度特征的提取，所提出的SAVER方法在自监督的情况下较好的提取出了图片的细粒度特征并与前一步粗糙建模的图像一起输入特征提取网络中，之后采取有监督的方式进行训练，得到的效果在当时来说提高了较大的精确度的提升。

吐槽：

        组会时间改了，要适应新日程了。。