深度学习 ISP 算法 黑光相机 颜色调整 去噪与滤波 色彩增强 无人机、自动驾驶、公安、石油石化 Pseudo-ISP LW-ISP GenISP DEl-Net DeepISP

ISP 图像信号处理器

ISP 图像视频 颜色调整算法 去噪 滤波 黑夜到白天

分为传统算法、深度学习算法 AI ISP

包括：白平衡 颜色管理 色彩增强 光谱重建 等

ISP（Image Signal Processor，图像信号处理器）在图像和视频处理中扮演着关键角色，尤其在颜色调整、去噪、滤波以及从黑夜到白天的转换等方面。下面将分别介绍传统算法、深度学习算法以及AI ISP在这些方面的应用。

• 传统算法：

颜色调整：传统算法中，颜色调整通常涉及白平衡、色彩校正和色彩增强等步骤。白平衡算法用于消除不同光源对图像颜色的影响，确保图像在不同光照条件下呈现出真实的颜色。色彩校正则用于调整图像的色相、饱和度和亮度等参数，以改善图像的视觉效果。色彩增强则通过强化图像中的某些颜色或减弱其他颜色来增强图像的对比度和清晰度。
去噪与滤波：在去噪方面，传统算法常采用均值滤波、高斯滤波、中值滤波等方法。这些滤波方法通过计算像素邻域的统计特性来估计并替换噪声像素，从而有效地减少图像中的噪声。此外，还有一些更复杂的去噪算法，如双边滤波和非局部均值滤波等，它们能够在保持图像细节的同时去除噪声。
黑夜到白天的转换：将黑夜图像转换为白天图像是一个具有挑战性的任务。传统算法通常通过增强图像的亮度、对比度和色彩来模拟白天的视觉效果。这可能涉及直方图均衡化、Gamma校正等技术，以改善图像的亮度和对比度分布。然而，这些方法可能无法完全恢复黑夜图像中丢失的细节和颜色信息。

*深度学习算法：

随着深度学习技术的发展，越来越多的深度学习算法被应用于ISP中。这些算法通常基于卷积神经网络（CNN）或其他深度学习模型，通过训练大量数据来学习从输入图像到目标图像的映射关系。

颜色调整：深度学习算法可以学习不同光照条件下的颜色分布和变化规律，从而更准确地调整图像的颜色。例如，一些算法可以通过训练模型来自动调整白平衡参数，以适应不同场景和光照条件。
去噪与滤波：深度学习算法在去噪方面表现出了强大的能力。通过训练噪声图像和对应的干净图像对，深度学习模型可以学习去除噪声的映射关系。这些算法通常比传统滤波方法具有更好的去噪效果和更高的保真度。
黑夜到白天的转换：深度学习算法可以通过训练大量黑夜和白天的图像对来学习如何将黑夜图像转换为白天图像。这些算法可以恢复丢失的细节和颜色信息，并生成更逼真的白天图像。然而，这种方法需要大量的训练数据和计算资源，并且可能受到训练数据分布的影响。

*AI ISP：

AI ISP是人工智能技术与ISP的结合体，旨在通过智能算法提升图像质量和性能。

颜色管理：AI ISP可以利用深度学习模型进行更精细的颜色管理。这些模型可以学习不同场景和光照条件下的颜色变化规律，从而更准确地调整图像的颜色。
色彩增强：AI ISP可以通过智能算法识别图像中的关键区域和细节，并对其进行有针对性的色彩增强。这有助于提升图像的视觉效果和吸引力。
光谱重建：AI ISP还可以利用深度学习算法进行光谱重建，即从输入的RGB图像中恢复出更丰富的光谱信息。这有助于提升图像的色彩准确性和真实性。
无论是传统算法、深度学习算法还是AI ISP，都在不断提升图像和视频处理的质量和性能。随着技术的不断进步和创新，我们可以期待未来会有更多更优秀的算法和解决方案出现。

传统算法

ISP（Image Signal Processor，图像信号处理器）是相机成像流程中的关键组成部分。它负责处理从相机传感器读取的原始图像数据，并生成最终的RGB图像输出。这个处理流程通常包括一系列算法步骤，用于改善图像质量、校正传感器缺陷以及增强视觉效果。

根据您提供的包结构，该ISP包包含了一系列用于处理图像信号的算法，分别对应不同的处理阶段。以下是对每个处理阶段的简要说明：

• Black Level Correction（黑电平校正）

这个步骤用于消除图像中的固定模式噪声，特别是由于传感器暗电流引起的噪声。通过从每个像素值中减去一个固定的黑电平值，可以消除这种噪声，使图像更加清晰。

• Vignetting / Lens Shading Correction（渐晕/镜头阴影校正）

镜头在边缘区域的光照强度通常较低，导致图像边缘出现暗角或阴影。这个步骤通过应用一种补偿算法来减少或消除这种渐晕效果，确保整个图像的亮度均匀。

• Bad Pixel Correction（坏像素校正）

由于传感器制造过程中的缺陷或使用过程中的损伤，图像中可能出现坏像素。这些像素可能表现出异常的亮度或颜色值。该算法能够检测和替换这些坏像素，以减少图像中的噪声和失真。

• Channel Gain White Balance（通道增益白平衡）

白平衡是调整图像中不同颜色通道的相对增益，以消除光源颜色对图像的影响。这个步骤确保图像在不同光照条件下都能呈现出自然的白色。

• Bayer Denoise（Bayer去噪）

Bayer去噪用于减少图像中的噪声，特别是在低光条件下。它通常涉及对图像进行滤波或应用其他算法来平滑像素值并减少噪声。

• Demosaic（去马赛克）

相机传感器通常以Bayer模式捕获图像，这意味着每个像素只记录一种颜色信息（红色、绿色或蓝色）。去马赛克算法用于插值缺失的颜色信息，生成完整的RGB图像。

• Demosaic Artifact Reduction（去马赛克伪影减少）

在去马赛克过程中，有时会出现伪影或色彩边缘失真。这个步骤旨在减少这些伪影，提高图像质量。

• Color Correction（色彩校正）

这个步骤用于调整图像的色彩平衡和饱和度，以改善视觉效果或符合特定的颜色风格。

• Gamma（伽马校正）

伽马校正用于调整图像的亮度分布，以改善图像的对比度和视觉效果。

• Chromatic Aberration Correction（色散校正）

色散是由于镜头对不同颜色光线的折射率不同而引起的图像模糊。这个步骤通过算法校正来减少色散，提高图像清晰度。

• Tone Mapping（色调映射）

在高动态范围（HDR）图像处理中，色调映射用于将宽范围的亮度值映射到显示设备能够显示的有限范围内，同时保持图像的细节和对比度。

• Memory Color Enhancement（记忆色增强）

这个步骤通过增强特定颜色（如天空的蓝色或皮肤的色调）来改善图像的视觉吸引力。

• Noise Reduction（降噪）

降噪算法用于进一步减少图像中的噪声，特别是在低光或高ISO设置下。

• Sharpening（锐化）

锐化算法用于增强图像的边缘和细节，使图像看起来更加清晰和锐利。

• Distortion Correction（畸变校正）

镜头畸变（如桶形畸变或枕形畸变）会导致图像形状失真。这个步骤通过应用畸变校正算法来纠正这些失真。

AI-ISP

AI-ISP 是一项颠覆性技术，通过结合AI和ISP，实现了全彩夜间成像。文章详细介绍了AI-ISP的背景，包括对NPU算力的需求、落地难点以及未来趋势。AI-ISP在夜间高分辨率成像、全天候应用和性价比方面展现出巨大优势。

• 传统ISP在大摄像头领域应用复杂，调试过程耗时，而AI-ISP通过智能调优和深度学习，能够快速适应不同摄像头，并在降噪、HDR和场景提亮等方面超越传统ISP。然而，AI-ISP与传统ISP的合作模式被认为是未来的发展趋势，两者将长期共…
• AI-ISP在行业应用场景中的广泛应用，涵盖无人机、自动驾驶、公安、石油石化等领域。未来，AI-ISP技术有望在全球范围内崭露头角，成为视觉领域的新浪潮。

AI ISP是这两年才出来的一个新的技术概念。传统的ISP有三种组织形式，整个pipeline中有不同的模块负责不同的功能。AI ISP已经有很多公司进行研究，比如英特尔实验室的《Learning to see in the dark》论文中提出，可以通过整个神经网络来实现ISP的全部功能。在这篇论文中，通过一个raw图进入，然后输出RGB或者YUV图像。但是在之前的研究中，没有一家公司能够真正把它进行产品化。

AI-ISP 论文

• 题目：ISP meets Deep Learning: A Survey on Deep Learning Methods for Image Signal Processing

名称：ISP 遇上深度学习：图像信号处理深度学习方法综述

论文：https://arxiv.org/abs/2305.11994

本文主要介绍了深度学习在图像信号处理领域的应用，尤其是在取代传统ISP流水线中的某些步骤或整个ISP流水线方面的应用。文章总结了多篇相关文献，并对比分析了这些文献的方法、结果和未来研究方向。读者可能会感兴趣的问题包括：深度学习在ISP领域的应用前景如何？与传统ISP流水线相比，深度学习的方法有哪些优缺点？现有的数据集是否足够满足深度学习在ISP领域的需求？

这篇论文旨在总结最近的一些研究成果，这些成果使用深度学习方法来替换图像信号处理器（ISP）中的一些部分或者全部的流程。ISP通常由多个过程组成，如去噪、去偏、白平衡、调色、增强等。传统的ISP使用各种算法来实现这些操作，但很多时候会导致图像质量下降，例如噪点、偏差、色彩散产生等问题。为了解决这些问题，最近的一些研究开始使用深度学习方法来替换传统的ISP流程，或者提高其性能。这篇论文总结了这些研究成果，为未来的研究提供了参考。

论文中提到的解决方案之关键是将传统的图像处理流程（如去噪、去模糊、色彩校正、增强等）转化为深度学习网络，以实现对图像的全局改变和局部细节提升。为了解决图像处理中存在的偏差和噪声问题，作者提出了多种深度学习网络结构和训练方法，用于去噪、去模糊、色彩校正、增强等操作。此外，作者还提出了一些用于提高图像质量和效率的技术，如基于感知的图像调整、图像增强的优化方法、端到端的图像处理流程等。

这篇论文主要是对现有的深度学习方法在图像信号处理中的应用进行了调查和总结。作者们选取了一些最新的、最先进的方法，并对它们进行了详细的分析和比较。为了评估这些方法的性能，作者们使用了多个数据集进行了实验，包括Zurich RAW to RGB数据集、Urban 100数据集、McMaster数据集和Kodak数据集。在这些数据集上，作者们使用了不同的评估指标来对方法进行了评估，包括峰值信噪比（PSNR）、多尺度结构相似性（MS-SSIM）和可变尺度网格（LPIPS）等。此外，作者们还对方法进行了详细的探讨和比较，包括方法的新颖性、使用的数据集、方法的评估、实现方面的细节、时间复杂度、推理时间、硬件等方面，以获得对方法的深入了解。

• 有什么工作可以继续深入？