海思Hi3559V200的ISP流程分析

一，概述

海思的影像类芯片Hi3559V200，可以开发行车记录仪，运动相机，监控摄像头，是海思平台入门，比较适合学习研究。

VI 从软件上划分了输入设备（ DEV ），输入 PIPE( 图示为物理 PIPE ，虚拟 PIPE 只包含

ISP_BE) 、物理通道（ PHY_CHN ）、扩展通道（ EXT_CHN）四个层级。

1，MIPI 和 DEV 的绑定关系

Hi3519AV100/Hi3519AV100/ Hi3516DV300/Hi3516CV500/Hi3559V200/Hi3556V200/Hi3516EV200 的 Dev 与 MIPI 绑定关系是固定的,不能动态修改绑定关系。

DEV 和前端时序输入的接口有约束关系。例如 Hi3559AV100 前端需要接入 BT.1120,且选择了第 0 组 BT.1120 管脚,PIPE 应该和 DEV5 绑定,才能正常接收 数据。

2，DEV 和 PIPE 的绑定关系

每个 PIPE 都可以与任意 Dev 绑定,但不能动态修改绑定关系。

dev为输入设备，可以理解为对外的sensor接入设备，如mipi、bt1120、bt565、DC等等，不同的dev能够支持的接口类型也有所不同，以SD3403为例，如mipi接口可以支持4路，对应dev0-dev3；bt1120或bt656及DC接口都只支持一路，对应dev3，因此当sensor为DC模式时，只能绑定到DEV3。

pipe为输入图像数据管道，即dev接收的数据会传入pipe中，dev与pipe之间可以采用一对一或一对多的关系，当采用宽动态模式时，就需要一个dev对应两个pipe（长短曝光帧），然后再融合，得到宽动态图像。

线性模式(非 WDR 模式)的一条通路应该是一个物理 PIPE 绑定一个 Dev,WDR 模式下需要多个物理 PIPE 绑定一个 Dev,例如 2 合 1WDR,我们需要 2 个物理 PIPE 绑定到一个 Dev。且在 WDR 模式下只有绑定到 Dev 的第 1 条物理 PIPE 的 通道有数据输出,其他绑定的物理 PIPE 的通道是没有图像数据输出

WDR 相关模块是为了支持 sensor WDR 模式和多帧合成 WDR 模式而需要额外配置或 有特殊配置的模块。Hi3519V101 无论是线性模式还是 WDR 模式，统计信息都是线性的

 4 帧合成 WDR的逻辑:Sensor 输出的 L 帧，M 帧和 S 帧图像数据先送到 DDR 缓存，在 VS 帧数据准备好 的时候再从 DDR 读出送到 Channel 2/3/4，VS 帧图像数据直接送给 Channel 1；其 中 L、M、S 和 VS 分别表示长帧、中帧、短帧和极短帧

3，PIPE的详细说明

pipe由ISPFE和ISPBE组成，ISP_FE 均代指 ISP pipeline 中 FPN（不包含）之前的部分，ISP_BE 均代指 ISP pipeline 中 FPN（包含）之后的部分，ISPFE和ISPBE一般包含以下部分：

1) ISP_FE 里主要有 Crop 模块，主要实现对输入图像裁剪的功能

2) ISP_BE 是主要的图像处理环节，里面包括了以下主要的处理模块

⑴ BLC 提供 Sensor 相关的黑电平校正

⑵ DPC 提供对静态坏点和动态坏点的检测和校正功能

⑶ GE 提供校正 Gr 与 Gb 两个通道的失衡

⑷ WDR提供多帧合成宽动态功能

⑸ Expander 将 Sensor 内部压缩的数据进行解压缩

⑹ Bayer NR 在 Bayer domain 中实现对图像的去噪

⑺ LSC 用于镜头阴影校正

⑻ AE 实现自动曝光信息的统计

⑼ AWB 图像的 R，G，B 均值以及有效统计点的个数统计

⑽ DRC 用于图像动态范围进行压缩

⑾ CAC 用于校正由镜头引入的轴向色差与横向色差

⑿ Demosaic 将 Bayer 格式的 Raw 图像转换到 RGC 图像

⒀ CCM 通过标准 3X3 的矩阵和矢量偏移量可完成颜色空间的线性校正

⒁ GAMMA 用于 rgb/bayer 阈，输出 Gamma/Pregamma 调节结果

⒂ DEHAZE 提供分区域去雾能力以及改善雾霾场景下视频的对比度和清晰度

⒃ SHARPEN 实现图像的锐化，提高图像的清晰度

⒄ CDS 实现 YUV444 转换到 YUV422 或 YUV420

⒅ LDCI 基于局域直方图均衡的方法来增强局部的对比度，提升暗区细节

⒆ 3DNR 高斯噪声去除，降低编码码率

4，Hi3559V200 ISPBE详细说明