Camera的学习笔记(二)——ISP

ISP概念:

ISP是Image Signal Processor的缩写,全称是影像处理器。在相机成像的整个环节中,它负责接收感光元件(Sensor)的原始信号数据,可以理解为整个相机拍照、录像的第一步处理流程,对图像质量起着非常重要的作用。

ISP功能简述:

ISP的功能比较杂,基本上跟图像效果有关的它都有份。它内部包含多个图像算法处理模块,其中比较有代表性的是:扣暗电流(去掉底电流噪声),线性化(解决数据非线性问题),shading(解决镜头带来的亮度衰减与颜色变化),去坏点(去掉sensor中坏点数据),去噪(去除噪声),demosaic(raw数据转为RGB数据),3A(自动白平衡,自动对焦,自动曝光),gamma(亮度映射曲线,优化局部与整体对比度),旋转(角度变化),锐化(调整锐度),缩放(放大缩小),色彩空间转换(转换到不同色彩空间进处理)等。在这里插入图片描述

(1)BLC(Black Level Correction)/ Black Level Compensate (OBC) :

黑电平校正。所谓黑电平就是在DNP下,将曝光时间和增益都调到最小时拍摄图片的亮度值,理想情况下应该是0,但是实际中因为sensor暗电流作用,全黑像素值大于0。(这一个值,在后面可能会受到AWBGain,CCM,Gamma的影响)。

产生原因:

CMOS是光电传感器,把光信号转换成电信号;但是,即使没有光照,器件由于受热影响,产生电子的扰动,进而也会产生电荷;在全黑的情况下,仍然会累积讯号,导致拍摄的全黑的影像不够黑

影响:

1,黑阶不够黑;

2,影像整体呈现雾状,不够通透;

3,影像产生色偏;

在这里插入图片描述

解决方法:

1、由Sensor本身在output raw 上减去对应的black level值。

2、由ISP本身在input raw 上减去对应的black level值。

(2)DPC/BPD(Defect Pixel Correction/Bad Pixel Detect):

概念:

坏点校正/坏点检测,相机中成像坏点一般是白色或者黑色的点,和周围像素点的差异明显。

坏点:坏点一般是指sensor 制造过程中因为单个像素的电路异常而不能正常表现感光亮度,其表现形式为全黑的场景成像中单个白色和彩色的点,或者全白的情况下的黑点。

在这里插入图片描述
在这里插入图片描述

坏点如何检测:

通过比较模板中心像素周围像素的像素值差异来侦测坏点坏点。

如何校正:

用中心像素周围合适的候选像素值替代坏点像素。

DPC flow:

在这里插入图片描述

(3)LSC(Lens Shading Correction)/Color Shading :

概念:

阴影校正;
Lens Shading 是由于镜片从边缘到中心对入射光线的反射程度不同,造成拍摄均匀亮度的画面,图像从中心到边缘亮度不均匀逐渐变暗。
Color Shading 是由于Lens从中心到边缘,其R、G、B变暗的速率不一样,总体表现就是Gb/Gr像素值差异较大,两个像素之间有细微纹理。找出shading的distribution(分布),然后用最小的模型来建模将其导入。
在这里插入图片描述

Correction原理:

在这里插入图片描述找到中心点后,以中心点为原心,向周围以圆为单位补Gain,离中心点越远,补的越大。

Correction前后对比:

在这里插入图片描述

(4)DM(Demosaicing/Color Filter Array Interpolation/CFA插值):

概念:

CMOS Sensor出来的RawData是Bayer格式的图像,每个像素只有一个通道的信息。
DM是将Bayer格式的图像恢复成每个像素用RGB三通道表示的方式。
DM的主要依据是图像在平滑的局部区域,各分量的ratio是相等的。插值算法的好坏会影响图片的细节,如摩尔纹。

DM 是一种数位影像处理演算法,目的是从覆有滤色阵列(Color Filter Array简称CFA)的感光元件所输出的的不完全色彩取样中,重建出色彩影像,这个方法也叫作滤色阵列内插法或者色彩重建法

(5)CCM(Color Correction Matrix/ DSC color calibration):

颜色校正矩阵
拍摄color checker24色板,将相机拍摄图片值与色板标准值之间进行对比(RGB颜色空间),得出一组能将拍摄值校正到最接近标准值的3x3矩阵。通过这个矩阵对所有相机拍摄的图片进行颜色校正。
在这里插入图片描述

(6)Gamma校正

Gamma产生的原因:
人眼对自然亮度感知是非线性的。资源总是稀缺的,我们用来记录/展示画面的媒介,动态范围和灰阶预算是有限的。(无论纸张还是电子屏幕)

为了在灰阶预算有限的前提下,协调自然亮度和主观灰阶感受这二者的映射关系,Gamma就产生了。
在这里插入图片描述

(7)NR(Noise Reduction/Denoise):

去噪 采用特定的LPF(Low Pass Filter)对图片进行滤波,滤除图像的噪声成分,而Bilateral filtering即双边滤波器,它是一种保护边缘的平滑滤波器,这样既可以滤除噪声,edge又可以保留下来。

在这里插入图片描述

(8)EE(Edge Enhancement/Edge Sharpening):

锐化 边缘增强。通过滤波器获取图像的高频分量,按照一定的比例将高频部分和原图进行加权求和获取锐化后的图像。

在这里插入图片描述
AWB(Automatic White Balance)------自动白平衡

人类视觉系统具有颜色恒常性的特点,因此人类对事物的观察可以不受到光源颜色的影响。但是图像传感器本身并不具有这种颜色恒常性的特点,因此,其在不同光线下拍摄到的图像,会受到光源颜色的影响而发生变化。例如在晴朗的天空下拍摄到的图像可能偏蓝,而在烛光下拍摄到的物体颜色会偏红。因此,为了消除光源颜色对于图像传感器成像的影响,自动白平衡功能就是模拟了人类视觉系统的颜色恒常性特点来消除光源颜色对图像的影响的

Camera 3A

1 、AWB

AWB(Auto White Balance)即自动白平衡 严格上来说,白色是反射到人眼里面的R、G、B比例相同,并且有一定亮度的视觉反应。白色物体被放在不同的色温光源下,所呈现的颜色会不同,但是因为人眼有自动白平衡的功能,会自动校正回来。所以要求我们Camera也要进行AWB矫正,要求在不同色温环境下,照白色的物体,屏幕中的图像应也是白色的。

2 、AE

AE(Automatic Exposure)即自动曝光 自动曝光的目的是在不同的照明条件和场景中实现欣赏亮度级别或所谓的目标亮度级别,从而捕获的视频或图像既不太暗也不太亮。为了达到这个目的,要调整镜头孔径,传感器曝光时间,传感器模拟增益和传感器/ ISP数字增益。这个过程称为自动曝光。

3 、AF

AF(Auto Focus)自动聚焦 聚焦就是前后移动镜头,直至将尽可能清晰亮丽的物体图像投射到胶片上。镜头必须与胶片保持一定的距离才能形成清晰的图像,具体取决于物体与相机的距离。自动对焦(Auto Focus)是利用物体光反射的原理,将反射的光被相机上的传感器CCD接受,通过计算机处理,带动电动对焦装置进行对焦的方式叫自动对焦。它多分为二类:一是主动式,另一个则是被动式。

  • 1
    点赞
  • 30
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
高通的Camera ISP(Image Signal Processor,图像信号处理器)是一种专门设计处理数字图像的芯片。它在手机、相机和其他图像设备中发挥重要作用。 高通的Camera ISP开发过程包括以下几个步骤。首先,团队会进行需求分析,了解市场和消费者的需求,确定ISP的功能和性能要求。然后,团队会进行架构设计,确定ISP的硬件组成和算法实现方式。接下来,团队会进行芯片设计,包括电路设计、电路仿真和布线。完成芯片设计后,团队会进行验证和测试,确保ISP的功能和性能符合设计规格。 高通的Camera ISP在图像处理方面有许多创新技术。首先,它具有先进的白平衡和曝光控制算法,能够自动调整相机的设置,以获得更好的图像质量。其次,它支持多帧降噪技术,能够在低光条件下减少图像噪点,并提高图像的细节清晰度。 此外,高通的Camera ISP还支持实时HDR(高动态范围)拍摄,通过多帧合成技术,能够在场景中同时捕捉到亮部和暗部的细节,并实时显示在取景器上。这为用户提供了更广泛的动态范围和更真实的图像效果。 总的来说,高通的Camera ISP开发团队通过多个步骤的需求分析、架构设计、芯片设计和验证测试,为市场提供先进的图像处理技术。这些技术在各类图像设备中都能发挥重要作用,提升用户体验,满足用户对高质量图像的需求。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值