isp概要介绍

一，图像处理介绍

凡是图像领域工作的人，都会经常听到ISP（Image Signal Process，图像信号处理）即成像引擎，知道ISP对图像质量非常重要。比如华为和小米竞争手机拍照和录像效果，主要的竞争领域就是ISP；做AI（Artificial Intelligence，人工智能）的人也知道，如果ISP不给力，后续的AI处理效果会受到影响。

二，什么是ISP

主流的CMOS和CCD sensor几乎都是输出Bayer mosaic格式的RAW数据，这种数据格式是无法直接观看的，必须转换成常见的RGB或YUV格式才能被主流的图像处理软件支持。对于camera产品而言，一般还需要将RGB或YUV图像进一步转换成JPEG格式以方便进行存储。上述图像处理过程统称图像信号处理（Image Signal Processing，ISP），广义的ISP包含了JPEG和H.264/265图像压缩处理，而狭义的ISP仅包括从RAW格式变换到RGB或YUV的处理过程。

由于图像信号处理涉及大量的数据和严格的实时性要求，所以ISP通常必须采用硬件方案实现。有些Image sensor自身支持一定的ISP功能，用户可以选择启用或者关闭。有些ISP是作为独立的芯片或者SoC IP产品可以从供应商那里采购。下图显示了一个典型camera系统的功能框图，主要包括图像传感器（Image Sensor）、ISP硬件（ISP Hardware）、ISP软件（ISP Real-Time Loop）等核心单元，以及ISP调试工具（PC Image Tuning Tools）、用户程序（User Application）、配置文件等。有些ISP硬件会内嵌支持一些CV算法功能，如镜头畸变校正（Distortion Correction）。

三，ISP的重要性

需要ISP模块的原因有2个方面，一个是镜头和Sensor的物理缺陷(不完美)，第二是拍摄的光线条件多样，镜头和Sensor需要根据环境做适应（就像人眼要通过瞳孔缩放，适应环境明暗一样）

由于这2个方面原因，如果没有ISP模块，现在无法让我们生成人类预期的图片质量。

四，ISP的内部结构

光线通过镜头Lens进入摄像头内部，然后经过IR Filter过滤红外光，最后到达sensor（传感器），senor分为按照材质可以分为CMOS和CCD两种，可以将光学信号转换为电信号，再通过内部的ADC电路转换为数字信号，然后传输给ISP加工处理，转换成RGB、YUV等格式输出。

常见的isp内部结构

下面是Silicon Image ISP的功能框图，这个ISP历史比较悠久了，主要以IP授权的形式卖给芯片设计公司，在中国也有不少客户。这个IP最初设计的时候是面向非专业的消费领域，所以只支持一些最基本的功能，对降噪、白平衡、WDR等重点特性的支持十分薄弱，目前已经难以满足主流需求了。

下面是logiISP的功能框图，可以配合Xilinx Zync FPGA使用，提供最简单的ISP功能。

ISP已经成了一个系统，不再是单纯的pipeline + 3A

isp和其他ip不同，不是标准化的东西，里面具体有哪些些算法大家网上一查一大把，但是要把ISP做好其实不太容易，需要对整个成像系统有一个全面的认识，各个算法直接先后顺序，以及前后算法之间的相互联动，都有一定的要求，特别是ISP在硬化的时候，要在面积与效果之间做权衡的时候，往往会出现需要算法配合硬件做相应逻辑修改。小团队如果没有一个对算法，硬件，调试有整体把握的人，去抄别人的ISP架构（网上联咏，海思，arm的isp架构一搜一大把），只能抄个似是而非，出来的效果在原地踏步。

五，ISP的难度

ISP的原理如此简单，那为什么成为图像处理芯片的差异化的最大壁垒之一呢？

第一，上面介绍的ISP的功能，原理虽然简单，但是里面有太多需要估计的策略，其实就是猜，要猜准确，有大量的经验，反复的调校工作在里面。

第二，上面有些模块是相互影响的，这也增加了工作量。调试时，可能按下葫芦浮起瓢，大量时间消耗。比如，我们常说的3A算法（Auto Exposure、Auto Focus和Auto white balance）上文都介绍过，之所以叫3A，就是因为他们是相互作用相互成全的

第三，作为一个商用的ISP，还需要更多的功能模块。如下图中，还需要有X-talk（串扰），VSM（Video Stablization Measurement）视频稳定。

下面的名词的概念上文中都提到了：
    DPCC（Defect Pixel Cluster Correction）坏点簇纠正
    DPF（De-noising Pre-Filter）降噪预滤波
    蓝框框里是“去马赛克”单元，包含CAC（Cromatic Aberration Correction色彩失常校正）、降噪滤波器
    CNR（Croma Noise Reduction）色度噪点降低
    CSM（Color Space Matrix）

六，ISP的未来趋势 AI ISP

AI ISP已经有很多公司进行研究，国外英特尔实验室的《Learning to see in the dark》论文中提出，可以通过整个神经网络来实现ISP的全部功能。在这篇论文中，通过一个raw图进入，然后输出RGB或者YUV图像。

什么是AI ISP？我们可以与文中开头提到的手机摄像头的ISP来进行比较，早期手机上的ISP会接收摄像头传感器（CMOS等）获得的原始数据进行处理，后面自从有NPU（神经网络处理器）以来，ISP会把处理过的图像数据发给NPU再次进行深度处理。

早期带ISP的大摄像头（安防等领域）由于没有或者没法集成性能强劲的CPU和NPU，只能把原始图像数据交给ISP处理后，再发给后端强大的服务器（可能是CPU、GPU或者还包含NPU）进行分析处理。而最近两年已经量产并实现了非常好效果的AI ISP相当于把后端服务器的分析处理能力（NPU能力）前移，放到了ISP芯片里面。这实际上就是在ISP芯片之内再进行AI分析。因此，AI算法的优劣就决定了AI ISP性能的好坏，也决定了“看得见”、“看得清”、“看得远”能力的强弱。