MTK Tunning ISP 模块面试总结

常见的面试问题：

描述一下调试平台的ISP处理模块的流程；
说一下HDR，多帧的算法原理 ？
高，中，低频的噪点怎么区分，说一个常用去噪模块的原理 ；
描述一下gamma、LCE对ISP模块影响；
RAW，RGB，YUV数据格式怎样转换；
怎么评价手机拍摄的图像质量的优劣；
描述一下调试过程中遇到的比较多的最难调试的问题；
调试当中，当遇到某机制不通时，你的处理想法是什么？
当图像点不亮时，你的处理思路是什么？
说一下调试这么长时间以来，最重要的，最关注的点是什么？
说一下你工作当中有遇到并做了什么事情，令你印象深刻，特别有成就感？
说一下你的优势；

一.ISP的调试流程概述：

在ISP调试流程中，我们首先需要确认以下三个方面：项目需求、硬件问题确认和Sensor驱动配置确认。

项目需求方面，即Sensor需要出多大的分辨率去调效果；因为有些芯片有最大分辨率支持的限制，可能需要调整sensor输出的分辨率大小；而且要注意下减小分辨率后，输出图像的fov及像素的长宽比，减小分辨率的话，一般会损失fov（前提不是binning和skipping的方式）；不是标准分辨率，也就是像素长宽比不是16:9的话，显示在16:9的屏上会有拉伸或压缩的效果，这些问题都需要提前和客户沟通清楚 ；另外，项目的ddr是多大？isp部分的内存该配多大？这里要知道出几路视频流+图像格式是怎样的，用来计算isp部分所要占用的内存大小，因为之前工作中出现过，ddr内存不够，导致isp中的3d去噪模块不生效。

硬件问题确认方面，主要从模组出发，通常体现在模组一致性方面，如低照度下确认电源噪声；Sensor的wdr和linear模式，分别在低照下、高增益下、高光下(对着灯光)查看是否有竖线；镜头对着解析力卡，确认中心和四周解析力的差异，看4个角差异是否很大；验证sensor帧率是否正常；景深范围差异等等。

Sensor驱动配置确认方面，主要确认50Hz下是否有工频干扰（banding）（实验室顶灯、色温箱A光源）；抓raw图时，确认不同setting的fov，必须是按中心进行crop ；确认linear和wdr模式下的曝光时间（ 25fps ---曝光时间40ms、30fps ---曝光时间33ms ）；确认wdr模式下，曝光比和长短帧的数值变化是否正常等等。

以上三方面确认OK后，接下来就得进行一系列的Precheck；包括竞品分析、硬件选型、算法选型、OTP烧录、模组挑选、Camera Tunning环境搭建。另外，在ISP模块的Precheck，细分则有三方算法导通切生效的效果check、原始raw数据的check、平台参数效果的check、成像效果是否异常的check等等。

做完precheck后，接着就是客观调试和主观调试，这方面不多做介绍。

二、ISP的数字图像处理算法过程有哪些？

主要包含3A、坏点效正、去噪、强光压制、背光补偿、色彩增强、镜头阴影效正、AWB、黑电平补偿、颜色插值、gamma、色彩空间转换等等。

三、影响ISP清晰度的有哪些？

在camera调试过程中，首先我们能确认影响成像清晰度的第一步，既是从镜头出发，也就是模组一致性，这里需要确定的是从模组厂挑选的模组是否合格；另外、性能和拍照手法也会影响清晰度，主要体现在有无开3A和dump、帧率、AE收敛时间方面；当然，AF是否对焦，AE对比度、亮度是否合理、AWB饱和度对ISP的清晰度也有影响；同时还需要排查和兼顾算法流程的合理性，主要体现在对应ISP模块是否多走或者少走，算法集成是否异常，算法使能是否打开或者关闭；不同ISO段参数不平滑、有无第三方算法加成也会导致清晰度有差异。

四、MTK各代平台有哪些差异？

在ISP3.0之前只有单帧；ISP4.0增加了多帧；ISP5.0在ISP4.0的基础上增加了ATMS客制化参数表；ISP6.0在ISP5.0的基础上增加了Face NR。

五、描述一下调试平台的ISP处理模块流程。

以MTK ISP4.0平台为例，在raw阈的处理顺序为：消除暗区偏色-->光学黑效正-->坏点效正-->变换着色函数-->尺寸调整-->白平衡-->高频彩噪处理-->去马赛克DM；在去马赛克后，就进入了RGB阈；处理顺序为：对比度增强-->伽马效正-->色彩空间转换CSC；在进行色彩空间转换后，就进入了YUV阈，其处理顺序为：去亮度噪声NR1，低通滤波-->增强边缘EE，高通滤波-->NR2去除彩色噪声，中值滤波-->高频噪声产生器HFG-->改变颜色饱和度COLOR-->多帧去噪-->低频多噪SWNR-->抗光晕处理SWABF-->输出最终合成的YUV图

六、描述一下多帧原理。

MFNR3.0：由N张raw图经过before阶段进行初步处理，在 BSS阶段进行选取基准帧，根据基准帧在ME阶段与其他帧做对比确定运动区域，在MC阶段对其他帧做运动补偿之后做混合，再经过after阶段对混合后的图片进行降噪或者锐化增强处理得到最终的出图。

 

MFNR4.0：MSF替代了MFNR3.0中的MFB，after阶段增加了AKS，使得边缘更加平滑 ，增加了多层处理，降低更多的低频噪声，也使运动区域更加干净 MFNR4.0 在去除噪声的同时，能够更好地保留图像的细节。对于图像中的纹理、边缘等重要特征，能够进行更精细的处理，避免在降噪过程中被过度平滑。而 MFNR3.0 在某些情况下可能会导致一些细节的丢失，使图像看起来略显模糊。

七、描述平台DM\EE\YNR\CNR原理

DM的工作原理：

DM是RAW图转换为RGB后图像处理的第一步，主要作用是对图像的边缘进行增强，提高图像对比度。光信号在sensor中会被转换成电信号，而其存储图像色彩信息的方式就是使用拜尔阵列；在拜尔阵列中，色彩信息通过R,G,B三原色存储，因为一个阵列中G管占1/2，而R,B各占1/4，所以RAW图还原成RGB图时必然无法展现出真实颜色；因此我们对RGB需要进行DM（demosaic）处理；其作用就是：

1. 对插值算法中错误赋色的像素进行矫正

2. 对图像的边缘和纹理进行加强

3. 对图像进行第一次消噪

DM过程中包含：

1.颜色插值

2.使用方向滤波器进行边缘保留

3.使用低通滤波器(LPF)进行降噪

4.使用高通滤波器(HPF)进行边缘增强

详细内容为:

在第一次插值之后，是通过对G通道插值后的图与插值后进行LPF降噪处理的图混合（补偿G通道冗余信息带来的误差）再进行HPF，之后再对R/B通道进行第二次插值得到输出图像。第一次插值的图像混合过程中会经过方向滤波器进行方向和非方向插值，之后再两者混合。

EE的工作原理：

输入图像首先区分出方向性和非方向性图两部分，然后将其方向图层与非方向性图层通过高通滤波器进行HPF混合调制，同时从方向图层中进行一次Gain LUT加强操作，加强后的方向性图再与HPF混合的图像进行第二次混合，混合后再进行一次EE加强，在加强后还需要进行Overshoot/undershoot抑制，最后将原图像与抑制后的图像进行第三次混合得到输出图像。

YNR的工作原理：

YNR是基于YUV色彩空间的一种亮度降噪方法。可以去除图像中的亮度噪声，同时边缘也会变得更加平滑；即先经过LPF进行处理，再经过Adaptive LPF处理，处理完之后的图和原图进行混合得到最终图像。

CNR的工作原理：

一般情况下，色度噪点的大小（scale）是亮度噪点（Luma Noise）的数倍至数十倍，在暗部层次较为平整的部分会表现比较明显，而在明亮或是白色被摄物体占据大部分画面的图像中不是非常明显。彩噪产生原因：电信号杂讯，通常与ISO拍摄有关。

八、参数客制化流程：ISP6S 

特点：

根据ISP profile与各种行为区分scenario

各scenario参数分配直观明确，脱离代码，降低了客制化成本

易新增新的scenario

 

区分原则：

1.调用优先级为：从左往右，自上而下；

2.新增的Scenario必须是独立的，必须有独立的条件用来区分它；

3.将新增的Scenario，填入UserTable栏中（顺序必须要和ScenarioMap栏顺序一模一样！！！）

 

User Table：

记录每个scenario要使用那组参数 ，每行代表一组参数档，每组参数档包含多个模块的参数使用，每列代表各个模块在对应的Scenario中使用参数档 “X”代表该Scenario 不会用到该模块参数

 

Scenario Map：

每一列代表一个scenario是由哪些ISP Profile/Sensor Mode/FrontBin/Size/Flash/APP/FaceDetection/Custom_00/Custom_01/Zoom以及其mapping关系 可为多选（表示“or”条件） 空白为全选（don’t care 条件） Scenario数目/顺序需与User Table 页面一致 Mapping 关系不可互相包含 区分条件由[IC]_NVRAM_IF_Common.xlsx的summary表格决定

 

Alias：

Scenario Map内的IspProfile栏位可使用Alias叙述。 由于Scenario Map具有多选属性，为了简化Scenario Map内的IspProfile栏，特意将IspProfile集合定义于“Alias”页面，容易阅读，避免填错

 

Common表：

vendor\mediatek\proprietary\custom\[IC]\hal\imgsensor\ver1\[IC]_NVRAM_IF_Common.xlsx 每个IC共用一份，记录公共的信息， EX:summary记录mapping区分条件 [IC]_NVRAM_IF_Common.xlsx Ex: MT6885_NVRAM_IF_Common.xlsx

九、常见问题及解决方向

现象一：清晰度差、噪点少

1、UDM清晰度释放不够

2、YNR抹噪过强/ACT混原图不足

3、EE锐化低

4、手抖——重新采集场景及dump，视情况优化

 

现象二：清晰度好、噪点多

1、UDM强度过大

2、YNR抹噪强度不足/ACT混原图稍强

3、EE引起的噪声

 

现象三：清晰度差、噪点多

1、首先排查Pure RAW（排查RAW清晰度）

2、调试ISP参数，先把去噪模块关闭看细节能否释放出来，然后慢慢加大去噪强度（将两个问题变为一个问题处理）

3、SNR测试

4、排查差异，准备相关报告材料，找SE、PM和评测沟通，后续降C、关闭或澄清处理

十：ISP调试思路

先确认硬件配置没问题，再确认性能算法导通情况，然后再确认参数没跑飞的同时确认AE/AF稳定，最后确认平台或者算法库优化能力后先从RAW域调参