ISP学习

今天看到同事分享了一个比较好的学习页面

https://www.zhihu.com/people/ybfan/posts/posts_by_votes


图像信号处理芯片设计原理----01 概论 - 知乎

图像信号处理芯片设计原理----02 镜头阴影矫正 - 知乎 (Lens Shading Correction, LSC)

图像信号处理芯片设计原理----03 坏点矫正 - 知乎 (DPC(Defective Pixel Correction))

图像信号处理芯片设计原理----04 自动对焦 - 知乎

图像信号处理芯片设计原理----05 自动白平衡 - 知乎 (Auto White Balance ,AWB)

图像信号处理芯片设计原理----06 自动曝光 - 知乎 (Auto Exposure)

图像信号处理芯片设计原理----07 绿平衡+去马赛克 - 知乎 (GB:Green Balance + Demosaic)

图像信号处理芯片设计原理----08 色彩矫正 - 知乎

图像信号处理芯片设计原理----09 直方图统计 - 知乎

图像信号处理芯片设计原理----10 Gamma矫正 - 知乎

图像信号处理芯片设计原理----11 RGB转YUV及YUV格式 - 知乎

图像信号处理芯片设计原理——12 RAW域和YUV域上的去噪 - 知乎

图像信号处理芯片设计原理----13 图像锐化 - 知乎

图像信号处理芯片设计原理----14 超分辨率技术 - 知乎 (Image Super Resolution)

图像信号处理芯片设计原理----15 风格迁移 - 知乎

图像信号处理芯片设计原理----16 滤镜 - 知乎

图像信号处理芯片设计原理----17 HDR和WDR - 知乎

色彩恒常性 (Color Constancy)

人类视觉系统能够在各种不同的光照条件下识别物体的颜色,这种自动排除光源影响的能力称为色彩恒常性 (Color Constancy),这一特点对应着ISP中的白平衡模块

色彩滤波阵列 (CFA, Color Filter Array)

让传感器上每个感光单元仅得到一种颜色光的信息

经过这样的设计,传感器采集到的图像就是RAW图像(如下图[3]),即图像每个像素位置仅有一种色彩信息。要恢复真实场景中的色彩,就是图像信号处理器 (ISP) 中的去马赛克模块的任务了。

镜头阴影校正 (Lens Shading Correction, LSC)

去除镜头阴影,该模块一般称为镜头阴影校正 (Lens Shading Correction, LSC)

坏点校正(defective Pixel correct,DPC)

CMOS/CCD镜头上对于外界光照失效而呈现为极亮或极暗的点,可分为坏点 (Deadpixel)、粘滞点 (StuckPixels) 与亮点 (Hotpixel),前者是高度曝光下的暗像素点,中者是高度曝光下相同位置出现的彩色像素点,后者为极暗条件下产生的亮点。

坏点分类

从坏点的静动态分布上可以分为静态坏点与动态坏点,从像素亮度上可分为亮点与暗点。

静态坏点 (Static Defective Pixel, SDP)是由缺图像传感器技术的芯片缺陷导致,解决方案是基于既定静态坏点表,比较当前坐标是否与静态坏点表中的某坐标一致,若坐标一致则判定为坏点,然后再计算校正结果并校正。

动态坏点 (Dynamic Defective Pixel, DDP)与传感器温度、增益有关,传感器温度升高或者增益值增大时,动态坏点会变会增多,与ISO的大小有关,文献[1]表明,对于不同的ISO设定,其缺陷随着ISP增大而增多

3A算法(自动对焦,自动曝光,自动白平衡)

----------------------------------

红外算法

NUC、DPC、NR、DDE、DRC、AE、AF、Dither、LDC、Scaler、上色

可见光算法

Demosaic、LDC、BLC、DPC、2DNR、3DNR、3A、CCM、Dehaze、LTM、GTM、etc.

ISP专业术语

FE前端处理,包括TPG、BLC、DPC

TPG: test point generator测试点生成

BLC:Black Level Correction 黑电平校正。ISP——BLC(Black Level Correction) - 知乎 (zhihu.com)

DPC: defective Pixel correct——坏点校正

BE:后端处理,包括Demosaic、LDC、2DNR、3DNR、3A、CCM、LTM、GTM、Coloring、etc

Demosaic:去马赛克。ISP算法 | Demosaic(一)_isp中的demosaic-CSDN博客

LDC:Lens Distortion Correction 镜头畸变校正。图像处理——镜头畸变校正 LDC( Lens Distortion Correction)-CSDN博客

NR(Noise Reduction/Denoise):去噪。3dnr 是结合空域滤波和时域滤波的一种降噪算法

3A算法(自动对焦,自动曝光,自动白平衡)

CCM(Color Correction Matrix)------颜色校正

GTM / LTM:Global Tone Mapping / Local Tone Mapping, 即色调映射。色调映射是为了把HDR图像的动态范围压缩到LDR显示设备的动态范围,并尽量保证图像细节不丢失。OpenISP 代码解读二:RGB Domain Processing - 知乎

FPN: NUC、LSC、De-pot-cover
NUC: 非均匀性校正

LSC(Lens Shading Correction) 镜头阴影校准ISP——LSC(Lens Shading Correction) - 知乎 (zhihu.com)LSC(Lens Shade Correction)------镜头阴影校正_lsc(lens shading correction) 镜头矫正 c++-CSDN博客

De-pot-cover: pot-cover 锅盖。 去锅盖,即锅盖校准算法。

Dehaze去雾模块

IVE: GDC/IMGPY、MVSE、MMF

GDC:Geometric Distortion Correction 畸变矫正,图像扭曲(warping,dewarping)

IMGPY:image Pyramid 图像金字塔 (图像融合技术)

MVSE(multi-view stitching engine),用于多视频的实时无缝拼接

MMF(multi-modal fusion),用于可见光与热成像图像融合


Warp

在计算机图形学和图像处理领域,"warp"通常指图像扭曲或变形,即将图像的像素按照一定的数学变换重新映射,产生拉伸、压缩、旋转或弯曲等视觉效果。这种技术常用于特效制作、图像校正以及全景图像拼接等领域。

LUT

常用于颜色空间转换、gamma 校正、色彩分级等。通过预先计算和存储输入与输出颜色值的映射关系,LUT 能够快速改变图像或视频的色彩外观,而无需逐像素计算,大大提高了处理速度。

EIS,基于IMU的电子防抖

Dewarp,用于如鱼眼校正、EIS、多目校正等

TVI(thermal video interface) 模块,对接各厂商的各种类型的热成像数据输出接口

VIA(video input adapter)模块

MCM(multi-context management),用于模块间直连, shared sram

  • 3
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值