目录
一、概述
二、通用流程
三、典型场景
1. SAT
2. Bokeh背景虚化 + MFNR
3. HDR(DOL、DCG等)
一、概述
本文解释isp pipeline的一些非常典型的场景,不同厂商对pipeline的连接及node的port口设计可能不同,但核心的思想相同。纯干货!
二、通用流程
一般走向都是sensor,FE0/1/2/..., BE,PE。CVE在旁路进行特征点提取、匹配、映射,各种H矩阵求取等计算,输出给PE或NPU(Face Detection或Motion Detection)等。
FE输出Ideal Raw图给BE,几帧的Ideal Raw图一般存于ZSL队列。
BE进行RAW2YUV处理,输出FULL size图 + DS4图的YUV图给PE经过分时复用实现多pass降噪。
PE输出的就是最终的预览图,给DPU送显。
FE一般会额外输出一路Y图给CVE,用于计算TNR H Matrix,CVE输出的TNR H matrix会作用于PE的TNR warp模块,TNR降噪。当然,这与SAT关系不大,而是预览正常处理。
ZSL队列用于拍照瞬间获取多帧合成still image。
FE\BE\PE\CVE的概念请自己对应,不同厂商不一样。
三、典型场景
1. SAT
SAT一般在普通拍照预览和录像预览下开启,至少两个sensor。
Main sensor输出:Main Stream + SAT专用Y图
Slave sensor输出:SAT专用Y图
master sensor输出几张IdealRaw图存于ZSL队列,这个是主图,经过BE、PE处理后用于预览。master sensor和slave sensor分别连接的FE0和FE1会输出SAT专用小Y图给CVE计算SAT H matrix(或者Match result加两路Y),作用于PE的EIS warp模块,将main图的FOV对齐到slave图。
当master为大fov,slave为小fov,上面正常的SAT处理。
当master为小fov,slave为大fov,只有当slave切换为master时SAT H matrix才会作用于EIS warp。
对于SAT,只有master sensor的FE会输出用于TNR的Y图给CVE,因为预览图来源于master sensor,slave sensor主要是用于配合计算SAT H matrix。
2. Bokeh背景虚化 + MFNR
至少需要两个Sensor。
对于预览,Main sensor的PE和Sub sensor的PE均会输出YUV小图给CVE,计算Main-sub H Matrix(或者Match result加两路Y),生成depth map小图Y格式。depth map作用于Main sensor的PE输出的预览流,进行Bokeh处理。
对于拍照,前面会多一步。FE0和FE1的Ideal RAW输出都会经过RAW MFNR处理,MFNR需要FE0/1输出的Y小图经过CVE,CVE计算MFNR H matrix,该矩阵用于MFNR计算。MFNR后的Bayer RAW图像经过BE、PE、CVE Bokeh就一样了。
3. HDR(DOL、DCG等)
第一个讲2DOL Stagger HDR。
即以“行”为输出单位“长短帧”曝光,以“帧”为单位因为间隔时间太长会有伪影产生,早已过时。
FE接受来自sensor的2DOL图像(Ev0和Ev-),CVE分时读取Ev0长曝光图像和Ev-短曝光图像,求取特征点(FTPT),根据特征点进行match,输出H矩阵,传给BE的HDR warp。
BE读取长短帧图像,利用H矩阵对Ev-图像配准,然后进行HDR融合。可硬件融合或AI融合。
第二个讲DCG HDR。
对于DCG HDR,Sensor只曝光一次,通过不同的AD转换增益获取Ev0和Ev-,其他步骤没有特别的区别。这种方式Sensor有可能直接对两者图像融合。
不断更新...
————————————————
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
原文链接:https://blog.csdn.net/weixin_36389889/article/details/133928912