【热成像超分辨率】 Unaligned Guided Thermal Super-Resolution

这篇文章没有找到可以下载的原文,找到了一个ppt。

要点一:

热成像三个应用方向:仪器检测,全天候视觉,健康看护。
在这里插入图片描述

要点二:

本文的动机:大多数热成像相机有一个可见光相机,而可见光相机有高分辨率,因此利用可见光的RGB相机来对热成像进行一个引导式的超分辨率是可行的。

而引导式方法需要进行pixel到pixel的配准(RGB到Thermal),但是由于成像波长的差异,比较难配准。本就就是想要通过设计一个不用配准的端到端的引导式超分辨的方法来解决这个配准的问题。
在这里插入图片描述

要点三:

提出的方法:

本文实验了两种方案,一种是在特征空间进行配准的方法,另一种是在输入空间上进行配准。注意这里说的配准并不是在图像层面的配准,而是端到端的结构中含有的配准模块,整个过程是包含在端到端的处理中的。

(1)特征空间配准:
在这里插入图片描述
这里面的loss如下:
在这里插入图片描述
主要包括特征的余弦距离和相互关系,优化的目标是让特征的余弦距离减小,而相互关系增大,这可能是一种特征对齐的方法。其中的这个corr暂时还不知道是如何计算的。

(2)输入空间的配准:
在这里插入图片描述
在这里插入图片描述
这里的msalignment-estimation block主要学习了一个refined map,通过这个refinedmap就能够将guide image扭曲成对齐好的图像,整个过程和一般的配准过程有些类似,只是利用深度学习的方法来学习配准所需的refined map。

这里唯一没有解开的疑惑是输入的warped-guidd stack是啥东西,是把一个guide图像扭曲成了不同的图像吗?然后这个训练的过程中的groundtruth是啥,如果是配准好的图像那么这个配准好的图像是怎么来的呢?
#要点四:
作者最后实验发现在特征空间上对齐要比输入空间上对齐的效果好。

  • 2
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值