SIDD：智能手机相机降噪数据集

最新推荐文章于 2025-04-11 13:20:30 发布
最新推荐文章于 2025-04-11 13:20:30 发布
阅读量1.8w 收藏 34
点赞数 4
分类专栏： 泡泡机器人

泡泡图灵智库，带你精读机器人顶级会议文章
标题：A High-Quality Denoising Dataset for Smartphone Cameras
作者：Abdelrahman Abdelhamed,Stephen Lin,Michael S. Brown
来源：CVPR2018
编译：博主
欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

大家好，今天带来的文章是：SIDD：智能手机相机降噪数据集，该文章发表于CVPR2018。
过去十年中，摄影技术已经发生了翻天覆地的变化，从最开始的专业数码单镜反光相机(DSLR)，变成了更简单的智能手机上的傻瓜相机。由于光圈和传感器的大小，智能手机会比单反产生更多的噪声。为解决此问题，一些学者开始研究智能手机相机的降噪问题。不过针对该问题，业界内仍旧缺少具有高质量真值（噪声较少）的数据集。
为此，本文提出了一套系统的方法来从原始噪声影像估计无噪声的真值数据。基于此方法，本文提出了一套用于智能手机相机降噪研究的数据集SIDD(Smartphone Image Denoising Dataset)。SIDD使用5种具有代表性的手机拍摄了大概10个场景中共30000张在不同光照条件下的带噪声的影像，还有对应的“无噪声”的真实影像。
本文在SIDD上测试了一些降噪算法，并得到了一些结论。同时，本文也发现利用SIDD数据集训练的基于CNN的降噪模型能够比用低ISO数据集训练的模型具有更好的降噪效果。

主要贡献

1）提出了一套用于建立智能手机相机降噪数据集的算法流程，并在次基础上建立了一个用于智能手机相机降噪算法的数据集SIDD，该数据集包含约30000张影像，为降噪算法的研究提供了基础；
2）分析和验证了本文数据集的可靠性，测试了一些目前常用的降噪算法在本文数据集山上的表现，同时发现使用SIDD训练的CNN降噪模型效果更好。

算法流程

这里写图片描述
图1：图一展示了SIDD建立的全过程。首先需要采集数据，然后去除错误像素和错误影像，接写来对影像进行对齐，最后生成“无噪声”的真实影像。

错误像素改正

错误像素会给真实数据的估计带来较大的影响，因此首先需要对错误像素进行改正。本文的思路是在同一个场景下拍摄500张影像，然后在起平均图片上分析错误像素，最后通过插值的方式对错误像素进行改正。
下图展示了本文错误像素改正的记过，图(d)是改正错误后的结果。
这里写图片描述

外点影像剔除

虽然影像的采集都是在控制外部环境的情况下拍摄的，然而由于场景亮度和相机曝光等等硬件因素的影响下，获取影像的亮度还是会有略微差异。因此本文计算采集影像的平均亮度来剔除掉亮度差异较大的影像，从而保证影像亮度的稳定性。

影像对齐

由于智能手机相机的光学稳像（OIS）功能不可禁止，因此拍摄的序列影像之间并不能完全对齐。本文通过使用基准点的方式来将这些影像进行对齐。下图中，（b)和(c)展示了Apple iPhone 7和Google Pixel的对齐平移量。
这里写图片描述

鲁邦平均图像估计

当图片一经对齐后，就需要通过平均的方式来获取平均图像。比较简单直接的思路是滤除掉过暗和过亮的像素，然后进行平均值的计算。本文在此基础上使用了一种更加鲁邦的均值计算思路，基于WLS算法进行了改进，从而得到了更优的效果。
下图展示了本文算法与DND算法的结果比较，可以发现本文算法在真实数据集上具有更低的噪声结果。
这里写图片描述

主要结果

为平均SIDD数据集的质量，本文做了两个实验。一个实验是利用本文数据集平均一些降噪算法的效果；一个是对比SIDD训练的CNN模型和低ISO数据训练的降噪模型。

算法性能评价

下图展示了一些算法在本文数据集上的表现情况，其中绿色、蓝色和红色分别代表排名第一、第二和第三的算法。算法性能的评价指标主要有 PSNR和SSIM，但是由于所有算法在SSIM上性能差异不大，本文主要使用PSNR作为评价指标。
这里写图片描述

模型性能比较

下图展示了利用本文数据训练的CNN模型在经过几次迭代后的去噪能力。不难发现，本文的算法在真实噪声数据集上取得了最优的效果。
这里写图片描述

结论

本文提出了一个专门针对智能手机降噪的数据集SIDD，给相关研究提供了基础数据，也必定会推动相关研究的进一步发展。

这里写图片描述

【图像去噪】实用小技巧 | 制作SIDD训练集（SIDD-Medium），将320张SIDD原始图像对裁剪成训练所需的96000个256×256的图像块
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
02-24 558
SIDD训练集一般使用SIDD_Medium，将SIDD_Medium_Srgb的320张图像对裁剪成各种去噪算法中训练所用的图像块形式。注：Mirror 1下载很慢，建议使用Mirror2分开下载，下载完毕后解压第一个压缩包即可得到SIDD-Medium。SIDD Medium原始320张图像大小约为12G，裁剪后96000个图像块大小约为19G。其他数据集制作相关文章（配合SIDD验证集就可以愉快的跑模型了！
【计算机视觉 | 图像分类】图像分类常用数据集及其介绍（十二）
wzk4869的博客
09-21 2629
【计算机视觉 | 图像分类】图像分类常用数据集及其介绍（十二）
图像去噪综述一
gaotihong的博客
07-29 725
图像去噪的基本归类
PolyU-Real-World-Noisy-Images-Dataset：真实世界噪声图像的强大资源库
gitblog_00717的博客
03-28 415
PolyU-Real-World-Noisy-Images-Dataset：真实世界噪声图像的强大资源库 PolyU-Real-World-Noisy-Images-Dataset Real-world Noisy Image Denoising: A New Benchmark ...
CVPR 2021 论文大盘点-图像去噪篇
yishuihanq的博客
11-05 4903
CVPR 2021 论文大盘点-图像去噪篇 ​CV君OpenCV中文网9月21日 关注公众号，发现CV技术之美 OpenCV中文网 OpenCV技术布道，CV实用教程，业界前沿资讯 36篇原创内容 图像去噪——一个"古老"而又一直存在不会过时的视觉课题。 本文总结CVPR 2021 图像去噪相关论文。共计 14 篇。 大家可以在： https://openaccess.thecvf.com/CVPR2021?day=all 按照题目下载这些论文。 如果想要下载所有CVPR 20..
目标检测算法——图像去噪开源数据集汇总（速速收藏）
加勒比海带66——【YOLO魔法搭配&论文投稿咨询】
03-28 5192
🎄🎄近期，小海带在空闲之余收集整理了一批图像去噪开源数据集资源供大家参考。整理不易，小伙伴们记得一键三连喔！！！🎈🎈
《A High-Quality Denoising Dataset for Smartphone Cameras》阅读笔记
69小石头的博客
05-17 1286
一、论文 《A High-Quality Denoising Dataset for Smartphone Cameras》 在过去的十年中，天文学发生了巨大的变化，从使用单反相机和傻瓜相机拍摄的图像转变为使用智能手机相机拍摄的图像。 由于小光圈和传感器尺寸，智能手机图像比DSLR图像具有更大的噪声。 尽管对智能手机图像进行去噪是一个活跃的研究领域，但研究界目前尚缺乏一种能代表来自具有高质量地面真相的智能手机相机中真实噪点图像的去噪图像数据集。 我们在本文中通过以下贡献解决了这个问题。 我们提出了一种系
手机图像去噪数据集真实地面估计工具包指南
gitblog_00026的博客
09-12 471
手机图像去噪数据集真实地面估计工具包指南 项目地址:https://gitcode.com/gh_mirrors/si/sidd-ground-truth-image-estimation 1. 项目介绍 本项目"sidd-ground-truth-image-estimation" 是用于生成智能手机图像去噪数据集(SIDD)真实地面图像估计的一个工具包。SIDD旨在解决目前...
A High-Quality Denoising Dataset for Smartphone Cameras 阅读笔记
春秋战车
03-03 1700
该论文提出了一种制作真实噪声图像对应的ground truth的方法，并基于该方法提出了一个高质量智能手机去噪数据集。 目前智能手机图像去噪是一个活跃的研究领域，但是目前该领域缺乏一个高质量的数据集，即真实的噪声图像和对应的高质量 ground truth.本文设计了一种产生高质量智能手机图像去噪数据集SIDD。使用5个具有代表性的智能手机摄像头，在10个不同光照条件下，从10个场景中获取约30...
A High-Quality Denoising Dataset for Smartphone Cameras 图像去噪
heavenpeien的博客
07-10 1813
在过去十年中，从使用数码单反相机和傻瓜相机的成像到使用智能手机相机的成像，已经出现了天文数字的转变。 由于小光圈和传感器尺寸，智能手机图像的噪音明显高于数码单反相机。虽然对智能手机图像进行去噪是一个活跃的研究领域，但研究界目前还缺乏一个去噪图像数据集，它代表了具有高质量基本事实的智能手机相机的真实噪声图像。我们在本文中通过以下贡献解决了这个问题。我们提出了一种用于估计噪声图像的地面实况的系统程序，...
噪声数据集，各类噪声数据
12-06
noisex
smartphone-data-science
06-23
智能手机加速度计数据分析 该项目中的代码 ( run_analysis.R ) 计算智能手机收集的传感器信号（加速度计和陀螺仪）的数据平均值，用于 [“使用智能手机数据集的人类活动识别”实验]（ ）。 运行代码 本次实验数据可从： : 将上述 zip 文件与run_analysis.R文件一起下载并解压缩到与此存储库相同的目录中。 内容应扩展到“UCI HAR 数据集”目录，其中包含从智能手机实验中收集的信息。 可以通过键入以下内容从 R 中运行代码： > source('run_analysis.R') > write.table(averages, "tidy-data.txt", row.names = FALSE) 最后一个命令在当前目录中创建一个整洁的数据文件，其中包含实验收集的测量值的平均值和标准偏差的平均值。 概括 run_analysis.R通过为实验中的两类
smartphone:使用智能手机数据集为人类活动识别分析准备数据
06-23
获取和清理数据项目 该项目的目的是展示您收集、处理和清理数据集的能力。 目标是准备可用于以后分析的整洁数据。 此 repo 包含以下文件： README.md这个文件:) CodeBook.md 描述变量 描述数据 描述为清理数据而执行的转换 run_analysis.R执行数据转换并输出到名为tidy.txt的数据文件中 此 repo 中未包含的其他文件： 这是run_analysis.R脚本修改的数据： Davide Anguita、Alessandro Ghio、Luca Oneto、Xavier Parra 和 Jorge L. Reyes-Ortiz。 “使用智能手机进行人类活动识别的公共领域数据集。” 第 21 届欧洲人工神经网络、计算智能和机器学习研讨会，ESANN 2013。比利时布鲁日，2013 年 4 月 24-26 日。 注意：您不必下载脚本即可工作。
smartphone-dataset:使用智能手机数据集的人类活动识别
05-26
智能手机数据集 使用智能手机数据集的人类活动识别 要运行此脚本，请首先确保输入数据在您的工作目录中可用。 输入数据集可。 下载文件后，将其解压缩到您的工作目录中（目录“ UCI HAR Dataset”应位于工作目录中）。 该脚本取决于库plyr，并假定已安装。 该脚本已经过R版本3.2.1的测试。
《NTIRE 2020 Challenge on Real Image Denoising: Dataset, Methods and Results》阅读
69小石头的博客
06-01 4999
看这篇论文的原因，想了解一下这个比赛以及这个比赛中比较好的去噪模型。以下就是简单的翻译了一下，方便自己回顾。 摘要 本文重点介绍了NTIRE 2020在真实图像去噪方面的挑战，重点是新引入的数据集，提出的方法及其结果。 挑战是以前的NTIRE 2019基于SIDD基准的真实图像降噪挑战的新版本。 这项挑战基于新收集的验证和测试图像数据集，因此命名为SIDD +。 这一挑战有两个方面，它们可以定量评估（1）Bayer模式rawRGB和（2）标准RGB（sRGB）颜色空间中的图像降噪性能。 ...
《Invertible Denoising Network: A Light Solution for Real Noise Removal 》论文阅读
69小石头的博客
07-02 3353
摘要 可逆网络在图像去噪方面有各种各样的好处，因为它们是轻量级的，信息无损的，并且在反向传播过程中节省内存。然而，应用可逆模型去噪具有挑战性，因为输入是有噪声的，而反向输出是干净的，遵循两种不同的分布。我们提出了一个可逆去噪网络，InvDN，来解决这一挑战。InvDN将噪声输入转换为低分辨率的干净图像和包含噪声的潜在表示。为了去除噪声并恢复干净的图像，InvDN在还原过程中使用从先前分布中采样的另一个噪声代表来替换噪声代表。InvDN的去噪性能优于所有现有的竞争模型，为SIDD数据集实现了新的最先进的结果
【图像去噪】论文精读：C2N: Practical Generative Noise Modeling for Real-World Denoising
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
01-15 159
论文题目：C2N: Practical Generative Noise Modeling for Real-World Denoising —— C2N：用于真实世界去噪的实用生成噪声建模ICCV 2021！基于学习的图像去噪方法仅限于给出对齐良好的噪声和干净图像的情况，或者样本是从预定的噪声模型(如高斯)合成的。虽然最近的生成噪声建模方法旨在模拟真实世界噪声的未知分布，但仍存在一些局限性。在实际场景中，噪声生成器应该学会模拟一般和复杂的噪声分布，而不使用成对的噪声和干净的图像。
【图像去噪】论文精读：Iterative Denoiser and Noise Estimator for Self-Supervised Image Denoising（DCD-Net）
最新发布
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
04-11 78
论文题目：Iterative Denoiser and Noise Estimator for Self-Supervised Image Denoising —— 自监督图像去噪的迭代去噪和噪声估计器ICCV 2023！随着强大的深度学习工具的出现，越来越有效的深度去噪器推动了图像去噪领域。然而，这些基于学习的方法取得的巨大进展严重依赖于大规模和高质量的噪声/干净训练对，这限制了现实场景的实用性。为了克服这一点，研究人员一直在探索可以在没有配对数据的情况下去噪的自我监督方法。
sidd数据集使用
03-09
<think>好的，我现在需要处理用户关于如何使用SIDD数据集的问题。首先，我得确认自己是否了解SIDD数据集的基本信息。SIDD全称是Smartphone Image Denoising Dataset，主要用于图像去噪任务。用户可能是在进行图像处理或计算机视觉项目时需要这个数据集，所以需要知道如何获取、加载和应用它。 首先，用户可能需要知道如何下载数据集。我应该先检查SIDD的官方网站或者常见的平台如Kaggle、GitHub是否存在。记得之前看到过SIDD在GitHub上有官方页面，可能需要通过申请或者直接下载。另外，数据集的目录结构也很重要，用户需要知道训练集、验证集、测试集的分布，以及图像和噪声版本的存放方式。 接下来是数据加载部分。用户可能需要用Python的库如OpenCV或PIL来读取图像文件。如果是处理大量数据，可能需要使用数据加载工具，比如TensorFlow的Dataset或PyTorch的DataLoader。这里需要给出具体的代码示例，比如如何遍历目录，加载图像对（干净和有噪声的），并将其转换为数组或张量。 然后是预处理步骤。常见的预处理包括归一化、调整大小、数据增强（如旋转、翻转）。需要提到将像素值归一化到0-1或-1到1的范围，这对模型训练效果有帮助。同时，数据增强可以提升模型的泛化能力，但要根据任务需求来选择。 在模型训练方面，用户可能使用卷积神经网络，比如DnCNN、U-Net等。需要给出一个简单的模型构建示例，比如用PyTorch或Keras。还要说明输入输出是噪声和干净图像对，损失函数通常用MSE或SSIM。 评估部分需要介绍常用的指标，如PSNR和SSIM，这些指标如何计算，以及如何用测试集进行评估。可能还需要提到可视化结果，比较去噪前后的图像。 此外，用户可能不知道SIDD的具体应用场景，比如低光去噪、手机摄影增强等。需要举例说明，并引用相关论文或资源，比如官方论文或其他使用该数据集的文献，以增加可信度。 最后，生成相关问题时要考虑用户可能进一步的需求，比如数据集的下载问题、与其他数据集的比较、处理特定噪声的方法，以及实际部署的考虑。这些问题能够帮助用户更深入地应用SIDD数据集。 需要确保回答的结构清晰，分步骤说明，并且代码示例正确。同时，引用官方资源时要正确标注，比如引用官方GitHub和论文。检查是否有遗漏的步骤，比如数据集的划分或者具体的训练细节是否需要更多说明。确保所有技术术语准确，并且建议的方法符合当前的常见做法。</think>以下是如何在图像处理/计算机视觉项目中使用SIDD数据集的详细指南： ### 一、SIDD数据集基础 SIDD（Smartphone Image Denoising Dataset）包含30,000组含噪图像与干净图像对，覆盖5种智能手机拍摄的真实噪声场景。数据集目录结构通常包含： ``` SIDD_Medium/ ├── train/ │ ├── noisy/ # 含噪图像 │ └── clean/ # 对应干净图像 └── val/ # 验证集 ``` ### 二、数据加载实现 使用Python加载图像的示例： ```python import cv2 import os def load_sidd_data(data_path): noisy_dir = os.path.join(data_path, "train/noisy") clean_dir = os.path.join(data_path, "train/clean") image_pairs = [] for img_name in os.listdir(noisy_dir): noisy_img = cv2.imread(os.path.join(noisy_dir, img_name)) clean_img = cv2.imread(os.path.join(clean_dir, img_name)) image_pairs.append((noisy_img, clean_img)) return image_pairs ``` ### 三、数据预处理流程 1. **归一化处理**（关键步骤）： ```python def normalize(images): return images / 255.0 # 转换到[0,1]范围 ``` 2. **数据增强**（可选）： ```python from albumentations import RandomRotate90, Flip aug = Compose([ RandomRotate90(p=0.5), Flip(p=0.5) ]) ``` ### 四、模型训练架构 基于PyTorch的示例模型： ```python import torch.nn as nn class DenoiseCNN(nn.Module): def __init__(self): super().__init__() self.encoder = nn.Sequential( nn.Conv2d(3, 64, 3, padding=1), nn.ReLU(), nn.Conv2d(64, 128, 3, padding=1) ) self.decoder = nn.Sequential( nn.ConvTranspose2d(128, 64, 3), nn.ReLU(), nn.ConvTranspose2d(64, 3, 3) ) def forward(self, x): x = self.encoder(x) return self.decoder(x) ``` ### 五、评估指标实现 计算PSNR的核心代码： ```python import numpy as np def psnr(clean, denoised): mse = np.mean((clean - denoised) ** 2) return 10 * np.log10(1.0 / mse) ``` [^1]: SIDD官方GitHub仓库包含完整的数据说明文档 [^2]: 《Benchmarking Denoising Algorithms with Real Photographs》论文详述了数据集构建方法
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值