![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
多模态
文章平均质量分 86
用GAN得有GPU
发帖主要是为了整理自己的心得,仅供参考,有可能内容有误,欢迎指正错误,互相学习!
展开
-
2019PR之RGBT行人检测:Illumination-aware faster R-CNN for robust multispectral pedestrian detection
Illumination-aware faster R-CNN for robust multispectral pedestrian detection简述:本文发现从RGB或T图像行人检测结果与照明条件相关。考虑到这一点,提出了IAF R-CNN网络。具体地说,首先引入了光照感知网络来给出输入图像的光照度量。然后,我们通过一个定义在光照值上的门函数自适应地合并RGB和T的子网络。左图为光照条件较好的情况下经过门函数后的带权结果,右图为光照条件不好的情况下经过门函数后的带权结果。模型:1,本文原创 2020-11-06 10:23:39 · 1415 阅读 · 4 评论 -
2020 ICRA之RGBT语义分割:PST900: RGB-Thermal Calibration, Dataset and Segmentation Network
PST900: RGB-Thermal Calibration, Dataset and Segmentation Network简述:首先,本文提出了一种RGB-T数据集矫正方法其次,本文是一个比赛提出的,本文通过这种矫正方法对官方提供了PST900进行校正,做到成对数据的完全对齐。最后,提出了一种用于快速语义分割的框架。模型:1数据校正:这个比赛提供的数据集是RGB-D-T数据集,通过Depth信息来校正RGB和T信息对齐,通过T图像得到T到RGB图像的映射关系进行校正,这里不仔细讲了,原创 2020-10-22 16:42:10 · 1688 阅读 · 4 评论 -
2019 RAL之RGBT语义分割:RTFNet: RGB-Thermal Fusion Network for Semantic Segmentation of Urban Scenes
RTFNet: RGB-Thermal Fusion Network for Semantic Segm简述:本文针对RGB-T语义分割任务,利用热图像的优势,并融合RGB和热信息在一个新的深度神经网络。模型:本文只有一个创新点,就是upception模块,其实就是上采样跳链接模块,本文没有太大的创新点,指标达到了sota(Res50的mIOU为51.7):...原创 2020-10-22 10:54:53 · 975 阅读 · 2 评论 -
2017 IROS之RGBT语义分割:MFNet: Towards Real-Time Semantic Segmentation for Autonomous Vehicles with Multi
MFNet: Towards Real-Time Semantic Segmentation for Autonomous Vehicles with Multi-Spectral Scenes简述:第一篇RGB-T语义分割文章:近年来有关语义分割的研究主要基于在夜间能见度较差和恶劣天气条件下获取的RGB图像。此外,本文尽可能减少了时间消耗,提高速度。模型:17年还没有Res,本文就是最简单的编码解码器,最大通道数是128,所以设计的轻量级网络,网络本身没有复杂的结构。本文提出了RGBT数据集原创 2020-10-22 10:51:33 · 924 阅读 · 4 评论 -
2020 TIFS之ReID:Visible-Infrared Person Re-Identification via Homogeneous Augmented Tri-Modal Learnin
Visible-Infrared Person Re-Identification via Homogeneous Augmented Tri-Modal Learning简述:现有的方法通常只学习了跨模态特征,而忽略了图像层次的差异。生成图像的思路目前有些方法采用GAN生成交叉模态图像,但会破坏局部结构并引入噪声。本文通过生成的RGB图像的灰度图作为辅助,以减少RGB与IR图像的large gap。模型:本文框架方面通过3个3通道(RGB,Gray,IR)的分别输入到共享权重的Res50学习共原创 2020-10-06 22:37:47 · 1334 阅读 · 7 评论 -
2020ECCV之ReID:Dynamic Dual-Attentive Aggregation Learning for Visible-Infrared Person Re-Identificat
Dynamic Dual-Attentive Aggregation Learning for Visible-Infrared Person Re-Identification简述:现有的VI-ReID方法倾向于学习全局表示,全局表示的可辨识性有限,且对有噪信息的鲁棒性较差。针对(a)中全局信息问题和噪音问题:通过以下两个思路去解决:(b)模内加权部分聚合(IWPA),它通过挖掘每个模内的上下文部分信息来学习有区别的部分聚合特征。©交叉模态注意力结构(CGSA),通过融合邻域信息增强了交叉模态图结构注原创 2020-10-06 15:52:13 · 1272 阅读 · 0 评论 -
2020 Arxiv之跨模态Reid:RGB-IR Cross-modality Person ReID based on Teacher-Student GAN Model
RGB-IR Cross-modality Person ReID based on Teacher-Student GAN Model简述:Reid的关键挑战是不同模式下特征的跨模态差异。为了解决这一挑战,我们提出了一种基于不同域的师生模型(TS-GAN)。模型:1.首先,GAN部分,仅采用了RGB生成IR的分支,但IR生成RGB用于辅助训练后期没有用到:(使用L1范数,因为它能比L2范数在图像边缘获得更好的生成性能)2.Backbone(红色部分)将Res50分为前3层(图中FEs)原创 2020-09-20 16:58:24 · 1161 阅读 · 0 评论 -
2020 TIP之跨模态ReID:Cross-Spectrum Dual-Subspace Pairing for RGB-infrared Cross-Modality Person Re-id
Cross-Spectrum Dual-Subspace Pairing for RGB-infrared Cross-Modality Person Re-Identification简述:本文的主要目的是为了减少不同光谱的摄像机产生的模态差异问题。本文提出了一种新的多光谱图像生成方法,利用生成的样本帮助网络找到鉴别信息,从而实现对同一个人的跨模态重新识别。下图可以看到,SYSU的红外图和RegDB的红外图是明显不同的。解决上述问题的目的是为了解决跨模态ReID的另一个挑战是人内(同一人图像)的差原创 2020-09-10 12:07:45 · 599 阅读 · 0 评论 -
2020 Arxiv之跨模态ReID:Bi-directional Exponential Angular Triplet Loss for RGB-Infrared Person Re-Identi
Bi-directional Exponential Angular Triplet Loss for RGB-Infrared Person Re-Identification简述:现有的研究大多使用基于欧几里得度量的约束来解决不同模式特征之间的差异。由于欧氏距离不能有效地测量嵌入向量之间的夹角,使得这些方法无法学习角度判别特征嵌入。本文提出通过确定了嵌入向量之间的夹角来进行有效的分类问题。同时,本文提出了提出了一种新的提出了一种新的ranking loss,即Bi-directional Expon原创 2020-09-09 13:45:28 · 736 阅读 · 0 评论 -
2020 ArXiv之跨模态ReID:Parameters Sharing Exploration and Hetero-Center based Triplet Loss for Visible-T
Parameters Sharing Exploration and Hetero-Center based Triplet Loss for Visible-Thermal Person Re-Identification简述:采用双流网络来解决多模态识别中最具挑战性的跨模态差异问题。在本文中,我们探讨了两流网络应该共享多少个参数,这在现有文献中仍未得到很好的研究。同时,提出了提出了hetero-center based triplet loss,通过将anchor与其他所有样本的比较改为anchor原创 2020-09-08 14:00:49 · 1206 阅读 · 0 评论 -
2020Arxiv之ReID:Deep Learning for Person Re-identification: A Survey and Outlook
Deep Learning for Person Re-identification: A Survey and Outlook本文是夜盲团队在今年发表的综述类文章:论文地址:https://arxiv.org/abs/2001.04193v1AGW开源地址:https://github.com/mangye16/ReID-Survey当前的问题及概述:作者调查了245篇近两三年的行人重识别(Person Re-identification)论文,分类为封闭世界ReID与开放世界ReID,综述原创 2020-07-10 21:27:35 · 2894 阅读 · 0 评论 -
2020 AAAI之ReID:Infrared-Visible Cross-Modal Person Re-Identification with an X Modality
Infrared-Visible Cross-Modal Person Re-Identification with an X Modality论文:https://download.csdn.net/download/qq_41967539/12363836当前的问题及概述:1,红外和可见光分别包含了许多不同的信息,以往的方法倾向于直接从这两种原始模态中学习跨模态信息。但结果说明这种直接映...原创 2020-04-26 13:27:21 · 1266 阅读 · 0 评论 -
2019 ICIP之多光谱行人检测:UNPAIRED CROSS-SPECTRAL PEDESTRIAN DETECTION VIA ADVERSARIAL FEATURE LEARNING
UNPAIRED CROSS-SPECTRAL PEDESTRIAN DETECTION VIA ADVERSARIAL FEATURE LEARNING当前的问题及概述:本文提出的框架采用行人检测网络和区域生成的对抗网络,能够生成互补的跨光谱行人特征。本文多光谱行人检测的说明:模型及loss:本文提出的跨模态行人检测框架。使用两个交叉光谱嵌入网络将每个光谱图像编码到公共空间中。为了对...原创 2020-03-22 11:06:20 · 853 阅读 · 3 评论 -
2018 AAAI之人脸识别:Adversarial Discriminative Heterogeneous Face Recognition
Adversarial Discriminative Heterogeneous Face Recognition当前的问题及概述:在NIR-VIS图像转换的一个主要挑战是,图像对在大多数数据库中没有准确对齐。即使我们可以根据面部的位置标记对图像进行对齐,同一对象的姿势和面部表情仍然有很大的差异。 本文提出了一种对抗式特征学习框架,分为跨模态面部生成模块和对抗判别特征学习模块。这两个部分分别...原创 2020-03-20 23:04:18 · 1005 阅读 · 1 评论 -
2019 ICCV之多光谱行人检测:Weakly Aligned Cross-Modal Learning for Multispectral Pedestrian Detection
Weakly Aligned Cross-Modal Learning for Multispectral Pedestrian Detection当前的问题及概述:真实的多光谱数据存在位置偏移问题,即彩色热像对没有严格对齐,使得一个物体在不同的模式中有不同的位置。在本文中,提出了一种新的对齐区域CNN (AR-CNN)来处理端到端的弱对齐数据。a是目前数据集弱对齐图示,b为本文的框架思...原创 2020-03-18 18:58:09 · 2404 阅读 · 0 评论 -
2020 ICASSP之人脸识别:Facial Feature Embedded CycleGAN for VIS-NIR Translation
Facial Feature Embedded CycleGAN for VIS-NIR Translation当前的问题及概述:由于两个模态的光谱成分的差异以及配对训练数据的不足,可见光-红外跨模态人脸识别仍然是一个具有挑战性的任务。本文提出了一种将可见光人脸图像转换成伪近红外图像的方法,该方法通过嵌入CycleGAN的一种新的人脸特征来实现。模型及loss:嵌入CycleGAN的人...原创 2020-03-11 18:13:10 · 2676 阅读 · 9 评论 -
CVPR 2020之ReID:Cross-modality Person re-identification with Shared-Specific Feature Transfer
Cross-modality Person re-identification with Shared-Specific Feature Transfer当前的问题及概述:现有的研究主要集中在通过将不同的模态嵌入到同一个特征空间中来学习共同的表达。然而,只学习共同特征意味着巨大的信息损失,降低了特征的差异性。在本文中,提出了一种新的跨模态共享特征转移算法(cm-SSFT)来解决上述问题,以探...原创 2020-03-08 21:19:40 · 5787 阅读 · 2 评论 -
跨模态ReID论文总结3:GAN网络论文(长期更新)
通过GAN网络的思路也是跨模态ReID 的主流思路之一,具体分为通过对抗网路去区分不同模态的特征和通过对抗网络生成图像两种,前者仅有一篇论文,是基于feature-level的对抗,效果一般,后者既有feature-level也有pixel-level的对抗,生成具体的可视化图像,借鉴风格迁移的cycle GAN或者star GAN的方法,尽可能的消除模态差异,使得任务尽可能转变为单模态任务去处理...原创 2020-03-06 20:02:37 · 2792 阅读 · 2 评论 -
跨模态ReID论文总结2:CNN提取特征论文(长期更新)
本部分占所有跨模态ReID的绝大部分论文的思路,基本思路是通过two-stream网络分别提取两个模态图像的特征,CNN前几层提取specifc feature ,后几层通过权重共享提取common feature ,在通过度量学习或者进一步的特征提取分别对specific feature和common feature进行进一步处理,最后通过ranking loss缩小同类别的距离,扩大不同类别的...原创 2020-03-06 20:00:04 · 4480 阅读 · 0 评论 -
跨模态ReID论文总结1:概述论文
概述论文共有两篇,都是2017年提出的,作为由单模态ReID到多模态的转型,两篇论文既总结了单模态论文的一些方法,并在多模态中尝试使用,并且有效的提出了由CNN网络对特征进行提取,特别是two-stream和SYSU数据集的提出,更是为后来的文章做好的铺垫。1.Person Recognition System Based on a Combination of Body Images from...原创 2020-03-06 14:33:02 · 1229 阅读 · 0 评论 -
跨模态ReID方向:概念,具体文献,数据集,总结等(文章最后附全部论文下载链接)
ReID:现在计算机视觉研究的热门方向,主要解决跨摄像头跨场景下行人的识别与检索。该技术能够根据行人的穿着、体态、发型等信息认知行人,与人脸识别结合能够适用于更多新的应用场景,将人工智能的认知水平提高到一个新阶段。Cross-module ReID:即跨模态的ReID是通过在RGB图像及红外图像(目前仅有RGB-T任务)中识别与检索出人物的身份(ID)信息。其任务是主要分两个子任务,一个是减...原创 2020-03-06 14:05:29 · 4177 阅读 · 2 评论 -
2019 CVPR之ReID:Hi-CMD: Hierarchical Cross-Modality Disentanglement for Visible-Infrared Person Re-Id
Hi-CMD: Hierarchical Cross-Modality Disentanglement for Visible-Infrared Person Re-Identification当前的问题及概述:为了减少模内和模间的差异,我们提出了一种分层模间解调(Hi-CMD)方法,本文提出的方法有效的将ID-discriminative特征和ID- excluded特征分离出来,进而进行分...原创 2020-03-03 18:17:11 · 2720 阅读 · 3 评论 -
2017 sensors之ReID:Person Recognition System Based on a Combination of Body Images from Visible Light
Person Recognition System Based on a Combination of Body Images from Visible Light and Thermal Cameras本文可以说是第一次提出结合RGB和红外图像对人物进行重识别。当前的问题及概述:人体包含的身份信息可用于ReID这类问题。本文提出了一种利用人体图像信息进行人体识别的方法。模型及loss:...原创 2020-03-02 18:59:55 · 988 阅读 · 0 评论 -
2020 AAAI之ReID:Cross-Modality Paired-Images Generation for RGB-Infrared Person Re-Identification
Cross-Modality Paired-Images Generation for RGB-Infrared Person Re-Identification当前的问题及概述:由于每一对RGB和IR图像之间缺乏对应标签,大多数方法都试图通过减少整个RGB和IR set之间的差异来缓解set-level对齐的变化。但是,这种set-level的对齐可能会导致某些情况下的不对齐,从而限制了RG...原创 2020-03-02 17:42:51 · 1708 阅读 · 0 评论 -
2019 TCSVT之ReID:SDL: Spectrum-Disentangled Representation Learning for Visible-Infrared Person Re-id
SDL: Spectrum-Disentangled Representation Learning for Visible-Infrared Person Re-identificatio当前的问题及概述:现有的RGB-IR ReID模型侧重于通过共享特征嵌入、子空间学习或对抗性学习来弥补RGB与IR图像之间的差距。然而,这些方法并没有明确地忽略与ReID无关的频谱信息。此外,对抗性学习方法...原创 2020-02-27 22:52:16 · 878 阅读 · 3 评论 -
2019 TIP之ReID:Learning Modality-Specific Representations for Visible-Infrared Person Re-Identificati
Learning Modality-Specific Representations for Visible-Infrared Person Re-Identification当前的问题及概述:由于不同的视觉特征,在异构模式下匹配行人非常具有挑战性。模型及loss:2.1Overview:图中可以看到,本文1)为每个域建立一个特定于模态的网络和一个特定于模态的loss函数,以便在特征提...原创 2020-02-26 22:23:37 · 1485 阅读 · 4 评论 -
2020 TIFS-ReID:Bi-Directional Center-Constrained Top-Ranking for Visible Thermal Person Re-Identific
Bi-Directional Center-Constrained Top-Ranking for Visible Thermal Person Re-Identification本文发表于2020 TIPS,是Visible thermal person re-identification via dual-constrained top-ranking的改进版本。当前的问题及概述:Mot...原创 2020-02-23 12:26:26 · 1406 阅读 · 3 评论 -
2020 AAAI之ReID:Attend to the Difference: Cross-Modality Person Re-identification via Contrastive
Attend to the Difference: Cross-Modality Person Re-identification via Contrastive Correlation当前的问题及概述:本文针对人类在比较两个相似物体时通常会注意到它们之间的差异这一特点,提出了一种双路径交叉模态特征学习框架。该框架由两个主要部分组成:Dual-path Spatial-structure-p...原创 2020-02-22 12:23:30 · 1445 阅读 · 4 评论 -
2019 ArXiv之ReID:Hetero-Center Loss for Cross-Modality Person Re-Identification
Hetero-Center Loss for Cross-Modality Person Re-Identification当前的问题及概述:目前所有的框架都在解决跨模态差异问题,很少有研究探讨改进类内跨模态相似性。本文提出了一个新的损失函数,称为异中心损失(HC损失),以减少类内交叉模态的变化。具体来说,HC损失可以通过约束两个异质模态之间的类内中心距离来监督网络学习的跨模态不变信息。在交...原创 2020-02-20 20:18:59 · 1322 阅读 · 3 评论 -
2019 IEEE Access之ReID: Person Re-Identification Between Visible and Thermal Camera Images Based on
Person Re-Identification Between Visible and Thermal Camera Images Based on Deep Residual CNN Using Single Input当前的问题及概述:当前的很多方法,会使用了两个或更多的图像作为输入,计算复杂度是非常高的。本文提出了一种简化卷CNN结构的person ReID方法,该方法将可见光图像和...原创 2020-02-15 16:30:57 · 805 阅读 · 0 评论 -
2019 IET之ReID:HPILN: a feature learning framework for cross-modality person re-identification
HPILN: a feature learning framework for cross-modality person re-identification当前的问题及概述:提出了一种新的特征学习框架:hard pentaplet loss和identity loss network (HPILN),(HPILN)。在该框架中,对现有的单模态再识别模型进行了修正以适应交叉模态场景,并采用专门...原创 2020-02-14 12:44:36 · 1202 阅读 · 0 评论 -
19ICCV之REeID:RGB-Infrared Cross-Modality Person Re-Identification via Joint Pixel and Feature Alignm
RGB-Infrared Cross-Modality Person Re-Identification via Joint Pixel and Feature Alignment当前的问题及概述:传统的方法主要是通过特征表示学习来弥补跨模态和特征对齐之间的差异,其基本思想是通过特征表示学习来匹配真实的RGB和IR图像。由于两种模式之间存在较大的交叉模态差异,因此很难在共享的特征空间中准确地匹...原创 2020-02-12 17:45:19 · 1832 阅读 · 0 评论 -
19ArXiv之ReID:Enhancing the Discriminative Feature Learning for Visible-Thermal Cross-Modality Person
Enhancing the Discriminative Feature Learning for Visible-Thermal Cross-Modality Person当前的问题及概述:为了解决模式间和模式内的差异这两个问题,本文从两个方面入手,采用三种简单的方法来增强鉴别特征学习(EDFL)(1)skip-connection:我们从下图的灰度CAM可以看到,以backbone是Re...原创 2020-02-09 15:23:10 · 1164 阅读 · 0 评论 -
2018 AAAI之ReID:Hierarchical Discriminative Learning for Visible Thermal Person Re-Identification
Hierarchical Discriminative Learning for Visible Thermal Person Re-Identification目前的问题:现有的交叉模态匹配方法主要侧重于对交叉模态分布的建模,而VT-REID也存在由于摄像机视角不同而导致的交叉视图变化。下图可以看到,除了对同一ID的跨模态问题外,对摄像机拍摄同一ID的视角变化也是当前ReID的一个难点。...原创 2020-02-07 15:02:24 · 2469 阅读 · 4 评论 -
2019 AAAI之ReID:HSME: Hypersphere Manifold Embedding for Visible Thermal Person Re-Identificatio
HSME: Hypersphere Manifold Embedding for Visible Thermal Person Re-Identificatio本文最大的亮点是将人脸识别中设计的Sphere softmax loss函数迁移到ReID中,即SphereReID。目前的问题:目前的方法多采用分类和度量学习相结合的方法来训练模型,以获得具有鉴别性和鲁棒性的特征表示。然而,这种方式...原创 2020-02-05 17:30:24 · 1833 阅读 · 1 评论 -
19 CVPR之ReID:Learning to Reduce Dual-level Discrepancy for Infrared-Visible Person Re-identification
Learning to Reduce Dual-level Discrepancy for Infrared-Visible Person Re-identification目前的问题:由于RGB-IV的ReID任务中,除了视点变化、姿态变化和变形所造成的人的外貌差异外,还有由于光谱相机成像过程的不同而产生的额外模态差异,以前的方法尝试使用特征级约束同时减少外观和模态差异。然而,仅使用特征级约...原创 2020-02-04 13:01:09 · 1101 阅读 · 0 评论 -
2018 IJCAI之ReID:Cross-Modality Person Re-Identification with Generative Adversarial Training
Cross-Modality Person Re-Identification with Generative Adversarial Training目前的问题:当前,面对这种跨模态问题,主要有两个困难:1.RGB和红外模式之间缺乏识别同一人的区别信息2.很难为这种大规模的交叉模式检索学习稳健的度量为了解决识别信息不足的问题,本文设计了一种基于前沿生成对抗训练的鉴别器来学习不同模式下的...原创 2020-01-30 17:39:25 · 923 阅读 · 0 评论 -
2017 ICCV之ReID:RGB-Infrared Cross-Modality Person Re-Identification
RGB-Infrared Cross-Modality Person Re-Identification本文是第一个提出RGB-Infrared跨模态的ReID框架。目前的问题:Re-ID是视频监控中的一个重要问题,其目的是在摄像机视点上匹配行人的即时信息,目前,大多应用于RGB图像中,但例如在黑暗环境中,这样是远远不够的,在许多视觉系统中,红外(Infrared (IR))成像是必不可少的...原创 2020-01-27 15:16:07 · 1987 阅读 · 0 评论 -
2017 ICCV之语义分割:Cascaded Feature Network for Semantic Segmentation of RGB-D Images
Cascaded Feature Network for Semantic Segmentation of RGB-D Images目前的问题:1.为了计算对象/场景关系的表示,最近大量的分割网络使用一组感受野来丰富卷积特征的文本信息。这些感受野通常是预先定义的,具有不同大小的有规则形式。然而,这种规则的接受域是与上下文无关的,因为它们不考虑它们相对于非真实图像结构的范围。2.具有多个分支的...原创 2020-01-03 10:37:28 · 959 阅读 · 0 评论 -
2018 IJCAI之ReID:Visible thermal person re-identification via dual-constrained top-ranking
Visible thermal person re-identification via dual-constrained top-ranking简述:本文是通过RGBT双重约束对人进行重新识别(Re-Identification),如下图:跨镜追踪(Person Re-Identification,简称 ReID)技术:现在计算机视觉研究的热门方向,主要解决跨摄像头跨场景下行人的识别与...原创 2020-01-02 13:11:34 · 1901 阅读 · 2 评论