今天看到同事分享了一个比较好的学习页面
https://www.zhihu.com/people/ybfan/posts/posts_by_votes
图像信号处理芯片设计原理----02 镜头阴影矫正 - 知乎 (Lens Shading Correction, LSC)
图像信号处理芯片设计原理----03 坏点矫正 - 知乎 (DPC(Defective Pixel Correction))
图像信号处理芯片设计原理----05 自动白平衡 - 知乎 (Auto White Balance ,AWB)
图像信号处理芯片设计原理----06 自动曝光 - 知乎 (Auto Exposure)
图像信号处理芯片设计原理----07 绿平衡+去马赛克 - 知乎 (GB:Green Balance + Demosaic)
图像信号处理芯片设计原理----10 Gamma矫正 - 知乎
图像信号处理芯片设计原理----11 RGB转YUV及YUV格式 - 知乎
图像信号处理芯片设计原理——12 RAW域和YUV域上的去噪 - 知乎
图像信号处理芯片设计原理----14 超分辨率技术 - 知乎 (Image Super Resolution)
图像信号处理芯片设计原理----17 HDR和WDR - 知乎
色彩恒常性 (Color Constancy)
人类视觉系统能够在各种不同的光照条件下识别物体的颜色,这种自动排除光源影响的能力称为色彩恒常性 (Color Constancy),这一特点对应着ISP中的白平衡模块
色彩滤波阵列 (CFA, Color Filter Array)
让传感器上每个感光单元仅得到一种颜色光的信息
经过这样的设计,传感器采集到的图像就是RAW图像(如下图[3]),即图像每个像素位置仅有一种色彩信息。要恢复真实场景中的色彩,就是图像信号处理器 (ISP) 中的去马赛克模块的任务了。
镜头阴影校正 (Lens Shading Correction, LSC)
去除镜头阴影,该模块一般称为镜头阴影校正 (Lens Shading Correction, LSC)
坏点校正(defective Pixel correct,DPC)
CMOS/CCD镜头上对于外界光照失效而呈现为极亮或极暗的点,可分为坏点 (Deadpixel)、粘滞点 (StuckPixels) 与亮点 (Hotpixel),前者是高度曝光下的暗像素点,中者是高度曝光下相同位置出现的彩色像素点,后者为极暗条件下产生的亮点。
坏点分类
从坏点的静动态分布上可以分为静态坏点与动态坏点,从像素亮度上可分为亮点与暗点。
静态坏点 (Static Defective Pixel, SDP)是由缺图像传感器技术的芯片缺陷导致,解决方案是基于既定静态坏点表,比较当前坐标是否与静态坏点表中的某坐标一致,若坐标一致则判定为坏点,然后再计算校正结果并校正。
动态坏点 (Dynamic Defective Pixel, DDP)与传感器温度、增益有关,传感器温度升高或者增益值增大时,动态坏点会变会增多,与ISO的大小有关,文献[1]表明,对于不同的ISO设定,其缺陷随着ISP增大而增多
3A算法(自动对焦,自动曝光,自动白平衡)
----------------------------------
红外算法
NUC、DPC、NR、DDE、DRC、AE、AF、Dither、LDC、Scaler、上色
可见光算法
Demosaic、LDC、BLC、DPC、2DNR、3DNR、3A、CCM、Dehaze、LTM、GTM、etc.
ISP专业术语
FE:前端处理,包括TPG、BLC、DPC
TPG: test point generator测试点生成
BLC:Black Level Correction 黑电平校正。ISP——BLC(Black Level Correction) - 知乎 (zhihu.com)
DPC: defective Pixel correct——坏点校正
BE:后端处理,包括Demosaic、LDC、2DNR、3DNR、3A、CCM、LTM、GTM、Coloring、etc
Demosaic:去马赛克。ISP算法 | Demosaic(一)_isp中的demosaic-CSDN博客
LDC:Lens Distortion Correction 镜头畸变校正。图像处理——镜头畸变校正 LDC( Lens Distortion Correction)-CSDN博客
NR(Noise Reduction/Denoise):去噪。3dnr 是结合空域滤波和时域滤波的一种降噪算法
3A算法(自动对焦,自动曝光,自动白平衡)
CCM(Color Correction Matrix)------颜色校正
GTM / LTM:Global Tone Mapping / Local Tone Mapping, 即色调映射。色调映射是为了把HDR图像的动态范围压缩到LDR显示设备的动态范围,并尽量保证图像细节不丢失。OpenISP 代码解读二:RGB Domain Processing - 知乎
FPN: NUC、LSC、De-pot-cover
NUC: 非均匀性校正
LSC(Lens Shading Correction) 镜头阴影校准ISP——LSC(Lens Shading Correction) - 知乎 (zhihu.com)LSC(Lens Shade Correction)------镜头阴影校正_lsc(lens shading correction) 镜头矫正 c++-CSDN博客
De-pot-cover: pot-cover 锅盖。 去锅盖,即锅盖校准算法。
Dehaze去雾模块
IVE: GDC/IMGPY、MVSE、MMF
GDC:Geometric Distortion Correction 畸变矫正,图像扭曲(warping,dewarping)
IMGPY:image Pyramid 图像金字塔 (图像融合技术)
MVSE(multi-view stitching engine),用于多视频的实时无缝拼接
MMF(multi-modal fusion),用于可见光与热成像图像融合
Warp:
在计算机图形学和图像处理领域,"warp"通常指图像扭曲或变形,即将图像的像素按照一定的数学变换重新映射,产生拉伸、压缩、旋转或弯曲等视觉效果。这种技术常用于特效制作、图像校正以及全景图像拼接等领域。
LUT
常用于颜色空间转换、gamma 校正、色彩分级等。通过预先计算和存储输入与输出颜色值的映射关系,LUT 能够快速改变图像或视频的色彩外观,而无需逐像素计算,大大提高了处理速度。
EIS,基于IMU的电子防抖
Dewarp,用于如鱼眼校正、EIS、多目校正等
TVI(thermal video interface) 模块,对接各厂商的各种类型的热成像数据输出接口
VIA(video input adapter)模块
MCM(multi-context management),用于模块间直连, shared sram