图像isp 详解_ISP基本框架及算法介绍

什么是ISP，他的工作原理是怎样的？

ISP是Image Signal Processor的缩写，全称是影像处理器。在相机成像的整个环节中，它负责接收感光元件(Sensor)的原始信号数据，可以理解为整个相机拍照、录像的第一步处理流程，对图像质量起着非常重要的作用。

ISP的功能比较杂，基本上跟图像效果有关的它都有份。它内部包含多个图像算法处理模块，其中比较有代表性的是：扣暗电流(去掉底电流噪声)，线性化(解决数据非线性问题)，shading(解决镜头带来的亮度衰减与颜色变化)，去坏点(去掉sensor中坏点数据)，去噪(去除噪声)，demosaic(raw数据转为RGB数据)，3A(自动白平衡，自动对焦，自动曝光)，gamma(亮度映射曲线，优化局部与整体对比度)，旋转(角度变化)，锐化(调整锐度)，缩放(放大缩小)，色彩空间转换(转换到不同色彩空间进处理)，颜色增强(可选，调整颜色)，肤色增强(可选，优化肤色表现)等。

ISP(Image Signal Processor)，即图像处理，主要作用是对前端图像传感器输出的信号做后期处理，主要功能有线性纠正、噪声去除、坏点去除、内插、白平衡、自动曝光控制等，依赖于ISP才能在不同的光学条件下都能较好的还原现场细节，ISP技术在很大程度上决定了摄像机的成像质量。它可以分为独立与集成两种形式。

ISP 的Firmware 包含三部分，一部分是ISP 控制单元和基础算法库，一部分是AE/AWB/AF 算法库，一部分是sensor 库。Firmware 设计的基本思想是单独提供3A 算法库，由ISP 控制单元调度基础算法库和3A 算法库，同时sensor 库分别向ISP 基础算法库和3A 算法库注册函数回调，以实现差异化的sensor 适配。ISP firmware 架构如下图所示。

不同的sensor 都以回调函数的形式，向ISP 算法库注册控制函数。ISP 控制单元调度基础算法库和3A 算法库时，将通过这些回调函数获取初始化参数，并控制sensor，如调节曝光时间、模拟增益、数字增益，控制lens 步进聚焦或旋转光圈等。

1. TestPattern------测试图像

Test Pattern主要用来做测试用。不需要先在片上ROM存储图片数据，直接使用生成的测试图像，用生成的测试图像进行后续模块的测试验证。以下是常用的两种测试图像。

2. BLC(BlackLevel Correction)------黑电平校正

Black Level 是用来定义图像数据为 0 时对应的信号电平。由于暗电流的影响， 传感器出来的实际原始数据并不是我们