ISP芯片架构及算法初理解

ISP芯片入门

此篇基于
《基于IC设计的实用ISP介绍》
《ISP基本框架及算法介绍》（重点推荐，算法原理也可从中找到）等
进行整理归纳，仅作搬运，不定期更新，欢迎补充。

前言

光通过光学系统入射到探测器的感光区域，探测器经过光电转换，将Bayer 格式的原始图像送给ISP，ISP 经过算法处理，输出空间域图像数据给后端的视频采集单元。其中ISP 由ISP逻辑及运行在其上的固件组成，逻辑单元除了完成算法处理外，还会统计出当前图像的实时信息。固件通过获取ISP 逻辑的图像统计信息，重新计算，反馈控制光学系统，探测器和ISP 逻辑，进而完成自动光圈、自动曝光、自动白平衡等一系列功能，以达到自动调节图像质量的目的。

ISP

ISP全称Image Signal Processing，即图像信号处理。本片所述的ISP主要是针对前端图像传感器输出的信号的后期处理，具体指的是从不同的 sensor输出信号过前级模数处理后的bayer pattern格式数据，到转换成通用的YUV等格式数据的过程，通常用于USB摄像头/监控摄像头/手机/平板等芯片设计中，依赖于ISP才能在不同的光学条件下都能较好的还原现场细节，ISP技术在很大程度上决定了摄像机的成像质量。

ISP主要包括对亮度，色彩和细节三个部分的优化处理。亮度是指对图像整体的亮度调整，涉及到的算法有：自动曝光AE(Auto Exposure)，黑电平校正BLC (Black Level Correction)，镜头阴影校正LSC (Lens Shading Correction)，Gamma，HDR (High Dynamic Ranger)等。涉及到色彩的算法有：白平衡AWB (Auto WhiteBalance)，色彩校正Color Correction Matrix，饱和度Saturation，色相Hue等。细节的算法主要有：去噪Denoise，插值interpolation，缩放zoom，边缘增强EE (edge enhance)等。还有一些其他相对特殊的算法，例如自动对焦AF (Auto Focus)，防闪烁anti-flick等。

一个简化的ISP算法框架如下图

ISP各个基本算法是相对独立的，但是在整体效果呈现上，又是相互关联的。举例来说，LSC这个算法把要图像四周的拉亮，这就导致图像四周的Noise比较大， 而Noise较大的话，edge enhance就要对四周的像素做特殊处理，使得Noise不会被放大，这会导致图像中心相对清晰，四周相对模糊。各个ISP算法模块，内在是有一些确定的逻辑关系的，上图中的框架结构，有些顺序是可以改变，有些则不可以改变，有些改变会导致算法复杂度提升。同时ISP算法中有不少特性是相互对立矛盾的，例如清晰度和噪声，AWB中的稳定度和精确度，AE中的收稳定性和收敛速度等，这些对立的特性，要根据具体需求或者实际应用场景去做平衡。

常见算法

ISP算法的目的是要让CMOS成像接近人眼的感受效果，所以首先要比较人眼成像和CMOS成像的差异。从图像亮度这方面来看，最重要的就是曝光，其次有针对显示器特性的Gamma映射，针对CMOS sensor 特性的Black Level Correction，针对镜头透光性的Lens shading Correction，以及anti-flick等。与色彩相关最重要的function是自动白平衡AWB和色彩校正矩阵Color Correction Matrix，其他有饱和度Saturation，色相Hue。

Automatic Exposure（AE）

不同场景下，光照的强度有着很大的差别。人眼有着自适应的能力因此可以很快的调整，使自己可以感应到合适的亮度。而图像传感器却不具有这种自适应能力，因此必须使用自动曝光功能来确保拍摄的照片获得准确的曝光从而具有合适的亮度。

AE 模块实现的功能是：根据自动测光系统获得当前图像的曝光量，再自动配置镜头光圈、sensor快门及增益来获得最佳的图像质量。自动曝光的算法主要分光圈优先、快门优先、增益优先。光圈优先时算法会优先调整光圈到合适的位置，再分配曝光时间和增益，只适合p-iris 镜头，这样能均衡噪声和景深。快门优先时算法会优先分配曝光时间，再分配sensor增益和ISP 增益，这样拍摄的图像噪声会比较小。增益优先则是优先分配sensor增益和ISP 增益，再分配曝光时间，适合拍摄运动物体的场景。

自动曝光的实现一般包括三个步骤：光强测量、场景分析和曝光补偿。光强测量的过程是利用图像的曝光信息来获得当前光照信息的过程。按照统计方式的不同，分为全局统计，中央权重统计或者加权平均统计方式等。全局统计方式是指将图像全部像素都统计进来，中央权重统计是指只统计图像中间部分，这主要是因为通常情况下图像的主体部分都位于图像的中间部分；加权平均的统计方式是指将图像分为不同的部分ÿ