图像重构---从RGB重构高光谱

已于 2022-03-03 15:37:41 修改
阅读量6.2k 收藏 35
点赞数 1
分类专栏： 图像处理 深度学习 文章标签： 图像重构 高光谱
于 2022-03-02 15:55:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xys430381_1/article/details/123231957
版权

2021-ICCV-Semantic-embedded Unsupervised Spectral Reconstruction from Single RGB Images in the Wild
— 源码

2020-CVPR-Hierarchical Regression Network for Spectral Reconstruction from RGB Images
— 源码

2020-CVPR-Adaptive Weighted Attention Network with Camera Spectral Sensitivity Prior for Spectral Reconstruction from RGB Images
— 源码

2020-Light Weight Residual Dense Attention Net for Spectral Reconstruction
— 源码

网络架构

一文读懂HRNet
超级快的HRNet
突破置换模块计算瓶颈，MSRA开源轻量版HRNet，超越主流轻量化网络！｜CVPR2021
论文笔记：HR-NAS (CVPR2021 Oral)（xys：HRnet+transformer，并搜索了HRnet中的卷积结构）

一些传统方法

Compressive Spectral Image Reconstruction using Deep prior and Low-Rank Tensor Representation
— 源码

压缩光谱成像 (CSI) 已成为一种替代光谱图像采集技术，它以需要恢复过程为代价减少了测量次数。通常，重建方法基于在优化算法中用作正则化器的手工先验，或者最近用作图像生成器的深度神经网络来学习从低维压缩测量到图像空间的非线性映射。然而，这些深度学习方法需要许多光谱图像才能获得良好的性能。
在这项工作中，提出了一个没有训练数据的 CSI 深度恢复框架。所提出的方法基于以下事实：一些深度神经网络的结构和适当的低维结构足以强加来自 CSI 的基础光谱图像的结构。我们通过在第一个网络层建模的 Tucker 表示分析了低维结构。所提出的方案是通过最小化压缩测量和预测测量之间的 L2- 范数距离来获得的，并且在前向算子之前形成所需的恢复光谱图像。仿真和实验结果验证了所提出的编码孔径快照光谱成像方法的有效性。

Deep Low-Dimensional Spectral Image Representation for Compressive Spectral Reconstruction
— 源码

基于模型的深度学习技术是压缩光谱成像重建的最新技术。这些方法将深度神经网络 (DNN) 集成为光谱图像表示，用作优化问题中的先验信息，以增加非线性表示的维数（即要恢复的参数数量）为代价显示最佳结果。本文提出了一种基于自动编码器的网络，该网络通过特征缩减来保证低维光谱表示，可用作压缩光谱成像重建的先验。此外，基于所获得的低维光谱表示保留了场景的空间结构的实验观察，这项工作利用生成的特征空间中的稀疏性，通过使用小波基来进一步减少逆问题的维数。与最先进的方法相比，所提出的方法显示出高达 2 dB 的改进。

2017-ACM-High-Quality Hyperspectral Reconstruction Using a Spectral Prior
— 源码

xys430381_1
关注
  • 1
    点赞
  • 踩
  • 35
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于隐式神经表示的RGB图像连续谱重建（NeSR）
每天都要看论文
01-21 3343
Continuous Spectral Reconstruction from RGB Images via Implicit Neural Representation（NeSR） 基于隐式神经表示的RGB图像连续谱重建 中国科学技术大学 、华为诺亚方舟实验室、北京理工大学 摘要：现有的光谱重建方法通常学习从RGB图像到多个光谱带的离散映射。然而，这种建模策略忽略了光谱特征的连续性。在本文中，通过引入一种新的连续光谱表示，提出了神经光谱重建(NeSR)来打破这一限制。为此，本文接受了隐函数的概念，并用神经
CVPR 2022 | 多快好省的高光谱图像重建
3D视觉工坊
04-20 1115
作者丨phantom@知乎来源丨https://zhuanlan.zhihu.com/p/501101943编辑丨3D视觉工坊本文介绍我们近期的两篇文章 MST 与 MST++，其中MST已被 CVPR 2022 接收，MST++ 被 CVPRW 2022 接收，并在 NTIRE 2022 Spectral Reconstruction Challlenge 中取得第一名...
rgb 光谱 转换_使用深度学习将RGB图像转换为高光谱
weixin_26630173的博客
08-27 5624
rgb 光谱 转换Finding an applicable cost-effective way to convert and use hyperspectral images. 寻找一种适用的具有成本效益的方法来转换和使用高光谱图像。 Authors: Abhiruchi Bhattacharya, Rishabh Karmakar, Soham Hans, Munagala Naga Go...
基于补丁的残差网络用于压缩感知的高光谱图像重建
03-25
大多数传统的压缩感测（CS）重建方法都受到迭代引起的密集计算的困扰。 本文旨在提出一种非迭代算法，用于从基于补丁的压缩感测测量结果中重建高光谱图像（HSI）。 我们的方法包含两个残差卷积神经网络。 一种是用于压缩感测重建的重建网络，另一种是用于消除由基于补丁的采样引起的块效应的解块网络。 重建网络可以有效地共同重建HSI的所有频段，从而很好地保持频谱相关性。 另外，通过将更多的补丁组合到解块网络中的较大补丁中，可以提高解块性能。 实验结果证明，我们的方法优于基于补丁的CS测量的最新压缩感知重建方法。
基于改进2 D-2DP CA的图像融合算法 (2014年)
05-31
针对基于主元分析的图像融合算法存在结构利用率低、光谱信息损失多的缺点,同时考虑到色彩图像融合时空间变换产生的色彩畸变以及RGB色彩空间各通道间的强相关性,提出一种基于改进双向二维主元分析的图像融合算法。针对RGB色彩图像的结构特点,以待融合图像行、列方向的RGB分量作为基元进行二维主元分析得到各级主元,采用线性权重分配方法对待融合图像进行重构,依照重构图像第一主元的结构特性进行主元替换后,经加权逆变换得到融合图像。为验证算法的有效性,选取校园近红外光谱图像与对应的清晰彩色图像,以及彩色可见光图像与对应的红
shred:Matlab代码，用于从RGB多光谱图像中估计高光谱数据
05-15
RGB /多光谱的高光谱 这是B. Arad和O. Ben-Shahar在论文“ ”中描述的高光谱估计过程的MATLAB实现。 可以在Ben-Gurion大学下的“上找到其他详细信息。 如果您在工作中使用此代码，请引用“ Arad和Ben-Shahar，在2016年10月11日至14日于荷兰阿姆斯特丹举行的欧洲计算机视觉会议上，从自然RGB图像中稀疏地恢复高光谱信号” @inproceedings{arad_and_ben_shahar_2016_ECCV, title={Sparse Recovery of Hyperspectral Signal from Natural RGB Images}, author={Arad, Boaz and Ben-Shahar, Ohad}, booktitle={European Conference on Computer Vi
光谱重建： rgb响应曲线估计（已知光源 和 多种颜色反射率已知，对应的rgb值也已知）
tony365的博客
03-31 1750
因此作者首先 对 rgb响应数据库 降维，分解为 特征值 和 特征向量， 用低维特征就可以表示响应曲线。本文作者提出一个方案， 在已知光源和反射率的基础上，最小二乘求解rgb相应曲线。已知光源 和 反射率 求解 camera sensor的 rgb 响应曲线。I是 在光源L照射下，反射率为R 的物体的 颜色rgb值。这样再通过最小二乘方法求解，可以避免更多噪声，更加精确。然后在已知 I，L, R 的情况下，最小二乘得到C。可以发现误差挺大，容易受到噪声的影响。从一张图像恢复出 rgb的响应曲线。
【光谱超分辨率：综述】
weixin_43690932的博客
09-13 1798
（面向深度学习的光谱超分辨率：成就和挑战）光谱超分辨率是一种从RGB图像获取高光谱图像的重要技术，可以有效地克服高光谱图像获取成本高、空间分辨率低的缺点。从线性插值到稀疏恢复，光谱超分辨率技术得到了快速发展。在过去的五年里，随着深度学习在各种计算机视觉任务中的起飞，基于深度学习的光谱超分辨率算法也出现了爆炸式增长。从残差学习到物理建模，用于光谱超分辨率的基于深度学习的模型多种多样。本文收集了几乎所有基于深度学习的sSR算法，并根据它们的主要贡献进行了综述，涉及网络架构，特征提取和物理建模。
【基于卷积和Transformer：多光谱图像光谱重建】
weixin_43690932的博客
11-01 1241
（基于卷积和Transformer联合网络的卫星多光谱图像光谱重建）基于卫星多光谱（MS）图像的光谱重建（SR）可以以合理的成本获得高空间分辨率的高光谱（HS）图像，极大地扩展了星载HS遥感的应用。作为一个具有挑战性的不适定问题，现有方法难以充分利用空间和光谱的局部和全局信息来指导重建，导致在具有复杂地物和严重光谱混合的大规模场景中重建精度有限。在这篇文章中，我们提出了一种新的卷积和Transformer联合网络（CTJN），以解决复杂场景中高精度SR的挑战。
#今日论文推荐# CVPR录用+NTIRE冠军,清华提出首个高光谱图像重建Transformer
w1hsxn的博客
05-13 323
#今日论文推荐# CVPR录用+NTIRE冠军,清华提出首个高光谱图像重建Transformer 高光谱图像（Hyperspectral Image, HSI）指的是光谱分辨率在0.01λ数量级范围内的光谱图像。 相较于常规的RGB图像而言，高光谱图像有着更多的波段（即通道数更多）来更加准确全面的描述被捕获场景的特性。 在很多时候，从RGB图像中无法观测出异常，但是从高光谱图像的某一个波段中却能一眼看出问题所在。 这么说可能不太好理解，举个例子，比如在深夜，如果直接看RGB图像的话，可能是一片漆黑，但是如
使用基于类的BP神经网络对RGB图像进行光谱超分辨率
03-07
高光谱图像具有高光谱分辨率，并且已在许多应用中得到广泛使用，但是实现高光谱分辨率的成像过程是以空间分辨率为代价的。 本文旨在通过提出一种新的基于类的光谱超分辨率方法，从高空间分辨率的RGB图像中构建高空间分辨率的高光谱（HHS）图像。 借助一组RGB和HHS图像对，我们提出的方法使用基于类的反向传播神经网络（BPNN）学习RGB和HHS图像对之间的非线性光谱映射。 在训练阶段，使用无监督聚类将RGB图像根据光谱相关性分为几类，并使用分类后的RGB图像和对应的HHS图像的光谱对来训练BPNN，建立非线性光谱映射每堂课在光谱超分辨率阶段，使用监督分类将给定RGB图像分类为在训练阶段确定的类别，并使用训练后的BPNN从分类后的给定RGB图像重建最终的HHS图像。 对三个标准数据集ICVL，CAVE和NUS的比较表明，与相关的最新技术方法相比，我们提出的方法可实现更好的光谱超分辨率质量。
mnf.rar_MATLAB MNF_MNF matlab_matlab高光谱_高光谱 MNF_高光谱MNF
07-14
Matlab实现的最大噪声分离变换（MNF），可以处理RGB图，高光谱图像以提取图像特征。算法速度较快，注释详尽。
论文研究-使用同态分解和小波变换增强真彩图像.pdf
09-10
在RGB空间中分别对真彩图像的三个通道进行增强能够很好地压缩图像动态范围，但往往会产生色彩偏离。因此，先将真彩图像由RGB空间变换到HSV空间，进行色度、饱和度和亮度分离；然后基于入射-反射模型，对亮度通道进行同态分解和小波变换的图像增强；再根据人类视觉系统光谱感觉特性，调整色饱和度分量的色彩纯度。实验证实，增强后的真彩图像色彩基本无偏差，图像动态范围压缩良好，能够很好地适应人类视觉。该方法对真彩图像的增强优于带色彩恢复的多尺度Retinex方法（msrcr）。
基于BP神经网络和主元分析法的数码相机光谱重构算法
02-05
从数码相机的RGB 信号重构物体表面的光谱反射率是光谱颜色管理研究中的重要课题之一。提出了一种基于误差反向传播前馈神经网络(BP)和主元分析法(PCA)实现色卡的表面光谱反射率重构的新算法。通过对三种色卡进行光谱重构实验研究了BP 神经网络的最优结构和主元数的最佳选择，验证了算法的精度。实验结果表明，采用适当的BP 神经网络和主元分析相结合的新算法能够精确重构同类色卡的表面光谱反射率。
hsimatlab代码-HyperspectralMatlabTools:读取，校正和检查高光谱图像的工具
05-25
hsi matlab代码HyperspectralMatlab工具 用于读取，校正和检查由IMEC快照扫描高光谱相机制成的高光谱图像的工具。 用Matlab 2019b编写的代码（应用程序中的某些功能需要该版本！） 如何使用： 从运行运行setup_HSI.m 。 这样可以确保MATLAB知道在哪里可以找到所有函数和应用程序。 要使用HSI功能，请确保Matlab可以找到测量值，方法是将“ Matlab当前文件夹”设置为正确的目录，或者将其添加到路径（在Matlab GUI：Home-Set Path中；或通过控制台）命令addpath(stringcontainingfolderpath) ） 对于使用HSI应用程序：为了在应用程序中列出测量值，请将Matlab当前文件夹导航到propper文件夹，然后单击“更新文件列表”以获取所有文件 查看示例文件（ example_*.m ）中的一些简单示例。
基于数码相机的光谱重构研究
02-10
基于普通商用数码相机分别摄取两种CIE标准光源D65和A下颜色样品的RGB信号, 采用主元分析法(PCA)和多项式模型的结合算法进行物体表面色光谱反射比的重构研究。实验结果表明, 同时应用两种光源下的RGB信号可有效提高...
rgb转lab代码matlab-SMEM:快照多光谱内窥镜检查
05-28
中：从开发的DNN模型重建的具有24个光谱通道的多光谱图像。 右：RGB图像中指示的两个选定区域的重建光谱。 图2血液样本的成像结果。 上排：新鲜血液样本的重建。 下排：血液样本在空气中沉降5分钟后的重建。 使用...
【RGB-HMS：先验驱动：超分】
最新发布
weixin_43690932的博客
11-02 317
（PRINET：先验驱动的光谱超分辨网络）光谱超分辨率是指直接从RGB图像重建高光谱图像。近年来，卷积网络已经成功地用于这一任务。然而，很少有人考虑到高光谱图像的具体属性。在本文中，我们试图设计一个超分辨率网络，名为PriNET，基于两个先验知识的高光谱图像。第一个是谱相关。根据这一性质，我们设计了一个分解网络来重建高光谱图像。在该网络中，高光谱图像的整个光谱波段被分成几组，并提出了多个残差网络分别重建它们。第二个知识是高光谱图像应该能够生成其对应的RGB图像。受此启发，我们设计了一个自监督网络来微调分解网
如何科学地利用高光谱图像合成真彩色RGB图像?
K1052176873的博客
05-19 3032
追根溯源的话，得从我们人类的视网膜说起。大部分人类的视网膜上有三种感知颜色的感光细胞，叫做视锥细胞，分别对不同波长的光线敏感，称为 L/M/S 型细胞。三种视锥细胞最敏感的波长分别是橙红色（长波，Long），绿色（中波，Medium），蓝色（短波，Short）。这三种视锥细胞的归一化感光曲线如下图所示不仅如此，人类眼睛对不同颜色光线混合的反应还是线性的。根据格拉斯曼定律（Grassmann’s Law），两束不同颜色的光C1C_1C1​和C2C_2C2​。
U-net实现RGB图像重构高光谱图像代码
06-03
以下是一个简单的U-Net实现RGB图像重构高光谱图像的代码示例，使用的是PyTorch框架： ```python import torch import torch.nn as nn class DoubleConv(nn.Module): """双层卷积模块""" def __init__(self, in_channels, out_channels): super().__init__() self.conv = nn.Sequential( nn.Conv2d(in_channels, out_channels, kernel_size=3, padding=1), nn.BatchNorm2d(out_channels), nn.ReLU(inplace=True), nn.Conv2d(out_channels, out_channels, kernel_size=3, padding=1), nn.BatchNorm2d(out_channels), nn.ReLU(inplace=True) ) def forward(self, x): return self.conv(x) class Up(nn.Module): """上采样模块""" def __init__(self, in_channels, out_channels): super().__init__() self.up = nn.ConvTranspose2d(in_channels, in_channels // 2, kernel_size=2, stride=2) self.conv = DoubleConv(in_channels, out_channels) def forward(self, x1, x2): x1 = self.up(x1) diffY = x2.size()[2] - x1.size()[2] diffX = x2.size()[3] - x1.size()[3] x1 = nn.functional.pad(x1, [diffX // 2, diffX - diffX//2, diffY // 2, diffY - diffY//2]) x = torch.cat([x2, x1], dim=1) return self.conv(x) class UNet(nn.Module): """U-Net模型""" def __init__(self, in_channels, out_channels): super().__init__() self.conv1 = DoubleConv(in_channels, 64) self.maxpool1 = nn.MaxPool2d(kernel_size=2, stride=2) self.conv2 = DoubleConv(64, 128) self.maxpool2 = nn.MaxPool2d(kernel_size=2, stride=2) self.conv3 = DoubleConv(128, 256) self.maxpool3 = nn.MaxPool2d(kernel_size=2, stride=2) self.conv4 = DoubleConv(256, 512) self.maxpool4 = nn.MaxPool2d(kernel_size=2, stride=2) self.conv5 = DoubleConv(512, 1024) self.up1 = Up(1024, 512) self.up2 = Up(512, 256) self.up3 = Up(256, 128) self.up4 = Up(128, 64) self.out = nn.Conv2d(64, out_channels, kernel_size=1) def forward(self, x): x1 = self.conv1(x) x2 = self.maxpool1(x1) x2 = self.conv2(x2) x3 = self.maxpool2(x2) x3 = self.conv3(x3) x4 = self.maxpool3(x3) x4 = self.conv4(x4) x5 = self.maxpool4(x4) x5 = self.conv5(x5) x = self.up1(x5, x4) x = self.up2(x, x3) x = self.up3(x, x2) x = self.up4(x, x1) x = self.out(x) return x ``` 使用U-Net模型进行RGB图像重构高光谱图像的训练和测试代码示例： ```python import torch.optim as optim import torchvision.transforms as transforms from torch.utils.data import DataLoader from dataset import CustomDataset # 加载数据集 transform = transforms.Compose([ transforms.ToTensor() ]) dataset = CustomDataset(transform=transform) train_loader = DataLoader(dataset, batch_size=32, shuffle=True) # 定义U-Net模型 device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') model = UNet(in_channels=3, out_channels=30).to(device) # 定义损失函数和优化器 criterion = nn.MSELoss() optimizer = optim.Adam(model.parameters(), lr=0.001) # 训练模型 num_epochs = 10 for epoch in range(num_epochs): for inputs, targets in train_loader: inputs, targets = inputs.to(device), targets.to(device) optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, targets) loss.backward() optimizer.step() print('Epoch [{}/{}], Loss: {:.4f}'.format(epoch+1, num_epochs, loss.item())) # 测试模型 test_input = torch.rand(1, 3, 256, 256).to(device) with torch.no_grad(): test_output = model(test_input) print(test_output.shape) ``` 需要注意的是，以上代码中使用的`CustomDataset`是自定义的数据集类，需要根据实际情况进行修改。同时，由于高光谱图像的通道数较多，为了简化示例代码，将输出通道数设置为30，实际应用中需要根据数据集的实际情况进行调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值