ISP系统综述

本期主题：
ISP系统综述

---

---

1.ISP是什么？

ISP全称是Image Signal Processor，图像信号处理器，用于处理图像信号传感器输出的图像信号，是相机系统的重要组成部分。

2.ISP由什么构成

ISP内部包括CPU、SUB IP、IF等设备，事实上，ISP是一个SOC，可以运行各种算法来实时处理图像信号。
ISP的架构如下图所示：

• CPU，中央处理器，可以运行各种图像算法，控制外设；
• SUB IP，各个功能模块的统称，对图像进行专业的处理；
• IF，图像传输的接口，手机领域常用MIPI-CSI；
• 通用外围控制设备，I2C、SPI等等；

3.图像数据的处理流程

1.传统图像的pipeline

一个典型的ISP流水线由一系列的模块构成，数据在这些模块中一级级运转，最终以 YUV或RGB格式 流出ISP，整体结构如下图所示：

参考至链接：
Understanding ISP Pipeline

图像在ISP内部经过了两次颜色空间的转变，分别是：

1. 从RAW domain转换到RGB domain，从sensor拿到的数据是原始的bayer数据，经过坏点修复、黑电平校正、镜头阴影修正等操作，将raw数据先优化一波，然后在Bayer-Demosaic模块，进行颜色插值，将raw数据转换成RGB数据；
2. 从RGB domain转换到YUV domain，变成RGB数据之后，还有修正工作，比如其后的gamma修正，在 CSC（color space conversion，色彩空间转换） 之后，变成了YUV域

2.图像产生过程：

景物通过 Lens 生成的光学图像投射到 sensor 表面上， 经过光电转换为模拟电信号， 消噪声后经过 A/D 转换后变为数字图像信号， 再送到 ISP 中加工处理。

1. 从sensor端过来的数据是RAW数据，图像将实际的景象转成图像数据时，通常是用红绿蓝三原色来表示的，在黑白的CMOS传感器上，分别套上不同颜色的滤光片，这样就得到了拜耳的raw图，详细原理可参考 ISP（图像信号处理）之Bayer Raw 简介
2. Demosaic颜色插值，这一步实现了RAW domain 转换为RGB domain，当得到bayer raw数据之后，每个像素都为单色光，从而理想的Bayer 图是一个较为昏暗的马赛克图，数字图像处理中用来从不完整的color samples插值生成完整的color samples的方法(因为bayer pattern看起来像一个个马赛克，因此称为去马赛克)；
3. CSC颜色空间转换，这一步将RGB数据转成了YUV数据，YUV数据是将亮度信息和色彩信息区分开了，其中Y代表亮度，UV代表颜色；

3.YUV域

RGB大家应该都清楚，那YUV的定义是什么？
1.颜色空间
其实YUV与RGB一样，都是颜色空间，RGB是三原色红绿蓝的命名，而YUV实际上是亮度、色度、浓度，具体来说就是：
Y 代表的是明亮度（Luminance 或 Luma）；U 和 V 代表则是 色度、浓度（Chrominance、Chroma）。

在 YUV 中，每一个颜色有一个亮度信号Y和两个色度信号U和V。亮度信号代表亮度的强或弱。根据 RGB 数据，YUV 从其中产生一个黑白图像，然后从数据中提取最主要的三种颜色指定为两个额外信号来描述颜色。

看一个实际的图片转成YUV的过程：

考虑一个问题，为什么有了RGB还需要YUV呢？总的来说有如下几个原因：

1.历史原因，为了兼容原来的黑白电视
原来都是黑白电视机，后来出现了彩色电视机，如果直接用RGB去传，原来的黑白电视机就无法兼容，但是如果用YUV来处理，忽略其中的 UV 信号，黑白电视就可以直接用 Y 信号来表示黑白画面，实现兼容；

2.传输带宽原因，YUV传输更节省带宽
完全形态的 RGB 编码，例如RGB 888，一个像素的表示占用 24 bits；而 YUV 的 420 采样，可以使用 12 bits 表示一个颜色，节省了大概一半的带宽；
3.生理原因，人眼对亮度比色彩敏感
因此，就是用把亮度单独提取出来的YUV格式；