一、背景介绍
本篇主要是对图像处理图像增强等相关进行简单介绍和记录,为后续的相关算子的介绍做铺垫。
二、整体流程pipeline
图像 最终效果主要受 前端isp+中间画质增强+后端isp(可有可无)影响。
isp一般流程,参考刘斯宁Understanding ISP Pipeline - 知乎
各个模块的名称及简单介绍:
三、画质增强算法
为了符合主观和客观的要求,来满足细节纹理、影调、颜色内容等实际的需求,就要对单帧输入图像、相同摄像头多帧图像,不同摄像头输入图像,不同ev图像进行算法处理,进而得到画质更佳、更符合人眼感官的结果图像。
目前接触到的算法有:夜景算法、HDR算法、超分算法、多帧去噪算法、图像分割等。
四、总结
对画质增强算法,根据基本模块进行分解,可以得到很多共性点。
如多帧去噪:多帧图像输入、参考帧选择、配准、多帧融合、单帧去噪、锐化、图像输出
HDR:多ev图像输入、base帧选择、配准、hdr融合、TMC、图像输出
它们往往会用到一些相同的算子,内部实现可能会有差异,但本质原理基本一致。
如此,我们可以整理出一个算法池,可以升级一个算子实现多个画质算法的效果提升,也可以对输入图像和算子流程调整,进而实现新的图像算法。
通常来说包括以下:
配准、图像分割、人像分割、TMC、多帧融合、融合、场景检测、去噪、锐化、deblur、深度图、拼接、超分、清晰度检测、对比度调整等等。
后续会对每一个算子进行学习并使用记录。