ISP专栏
文章平均质量分 78
ISP基本原理介绍、pipeline技术的介绍
mjiansun
Live and Learn.
展开
-
【ISP】CCM变换和标定
今天聊一聊ISP当中的一个重要模块CCM;为什么ISP模块中要有这个模块呢,上面列的一堆原因,;CCM一般是3x3矩阵形式,也有3x4形式的,3x4形式主要是给rgb各自加一个offset上面的人眼rgb响应和sensor rgb响应曲线都是非线性的,所以指望通过一个CCM矩阵就得到匹配度很好的映射关系是不现实的。现实中,往往会标定很多个CCM,ISP在运行的时候根据照度,光源等等因素,选择两个最近的CCM插值得到最终的CCM;转载 2024-08-22 16:35:48 · 152 阅读 · 0 评论 -
【ISP】图像噪声类型
图像噪声:造成图像失真、质量下降的图像信号,图像上引起较强视觉效果的孤立像元点块。转载 2024-08-19 22:40:55 · 154 阅读 · 0 评论 -
Camera Tuning 术语
当前画面的平均亮度值和上次对焦完成的亮度之间的差异得到的。统计当前画面的平均亮度值和上一帧的亮度之间的差异得到。有限长度脉冲响应数字滤波器。自适应bayer滤波。双摄像头即时自动对焦。转载 2024-08-15 13:58:56 · 87 阅读 · 0 评论 -
【图像测试】ISO12233分辨率测试卡分类及功能说明
调试项目时,客户通常都有通过分辨率测试卡,测试图像分辨率客观指标的要求。我们常用到的是ISO12233的分辨率测试卡,但刚开始用时,对图卡肯定会有很多的疑问,比如:a、2000线和4000线的图卡该怎么选择?哪种图卡能满足我相机分辨率的测试要求,该如何计算?b、1x、2x、4x、8x 的测试图卡有什么区别?该如何选择?c、图卡上那么多线,各个区域都是测什么的,该怎样去看?d、该怎么去拍ISO12233分辨率测试卡呢?参数又是如何读取的。转载 2024-06-18 17:06:34 · 1073 阅读 · 0 评论 -
【ISP】PS色阶调整算法
本博客实现 Photoshop 的色阶调整算法,包括输入动态线性拉伸、伽马变换和输出线性拉伸。色彩平衡是通过对颜色的调整使图像达到颜色平衡,可以用于调节颜色缺陷或表现效果。Photoshop 的色阶调整分为输入色阶调整和输出色阶调整。输入图像中低于黑场阈值的像素置 0 (黑色),高于白场阈值的像素置 255(白色)。灰场调节值默认值 1.0,调节范围 [0.01, 9.99]。灰场调节值增大的效果是加灰降对比度,减小的效果是减灰加对比度。输出色阶调整有 2个调节参数:黑场阈值、白场阈值。转载 2024-04-20 23:15:54 · 158 阅读 · 0 评论 -
【ISP】PS混合模式(17)差值组小结
我们已经讨论过了差值组的四个模式了,也知道这几个模式有什么联系。如果你细心点,就会发现我把差值和排除写在同一章,而减去和划分写在另一章。之所以写在一起,因为性质相似。差值和排除从黑到白的过程,是一个反相的过程。为什么不把差值和减去写在一起呢?别看这两个模式有个减号,差别蛮大的。你也看过他们的变化图像了,根本一点都不像。转载 2024-04-05 15:22:09 · 101 阅读 · 0 评论 -
【ISP】PS混合模式(16)减去 和 划分
原则1:我们不妨把上方图层定义为B层,下方图层定义为A层,最后混合层为C层。原则2:定义B图层的某点像素为点B, A图层的某点像素为点A, C层的某点像素为点C。(因为一个像素点是通过三个通道来显示的,所以点A的值为(Ar,Ag,Ab);点B,点C也同理。原则3:把0-255区间的换算,转换为0-1区间的换算:0对应的是0.128对应的是0.5255对应的是1.(所以,点A中RGB的三个通道的像素亮度的分别数值就改为0到1)原则4。转载 2024-03-25 10:08:27 · 385 阅读 · 0 评论 -
【ISP】PS混合模式(15)差值和排除
我们不妨把上方图层定义为B层,下方图层定义为A层,最后混合层为C层。:定义B图层的某点像素为点B, A图层的某点像素为点A, C层的某点像素为点C。(因为一个是通过三个通道来显示的,所以点A的值为(,Ag,Ab);点B,点C也同理。:把0-255区间的换算,转换为0-1区间的换算:0对应的是0.128对应的是0.5255对应的是1.(所以,点A中RGB的三个通道的像素亮度的分别数值就改为0到1):混合的意思是两个图层RGB的三个通道分别混合,最后一起显示。:这些公式仅适用于。转载 2024-03-22 15:28:36 · 381 阅读 · 0 评论 -
【ISP】PS混合模式(14)对比组的小总结
这个组的所有模式,在顶层大于50%灰的地方,结果层是变亮的,而小于50%灰的地方是结果层是变暗的。转载 2024-03-22 12:05:30 · 74 阅读 · 0 评论 -
【ISP】PS混合模式(13)点光和实色混合
原则1:我们不妨把上方图层定义为B层,下方图层定义为A层,最后混合层为C层。原则2:定义B图层的某点像素为点B, A图层的某点像素为点A, C层的某点像素为点C。(因为一个像素点是通过三个通道来显示的,所以点A的值为(Ar,Ag,Ab);点B,点C也同理。原则3:把0-255区间的换算,转换为0-1区间的换算:0对应的是0.128对应的是0.5255对应的是1.(所以,点A中RGB的三个通道的像素亮度的分别数值就改为0到1)原则4。转载 2024-03-22 11:14:38 · 128 阅读 · 0 评论 -
【ISP】PS混合模式(12)强光,亮光,线性光的联系
这次我们将用这个图片做演示。在强光模式下,我们看东西,就像隔着一层玻璃一样,但是明暗比例还是那个比例。效果如下图所示:在亮光模式下,我们看到太阳周围和地球周围被染上了一层颜色(感觉太阳发了紫色光一样)。在线性光模式下,我们看着效果就像上面两个效果的合体,给人感觉很闷。那么线性光的效果,是不是和先做完 亮光 后,再做 强光 的效果一样呢?在公布答案之前,我们来看看效果。请看下图:我们合并了一个线性光效果的图层,然后把这个图层和亮光+强光的图层做比较。可以看到效果一模一样。转载 2024-03-21 15:50:38 · 113 阅读 · 0 评论 -
【ISP】PS混合模式(11)线性光
原则1:我们不妨把上方图层定义为B层,下方图层定义为A层,最后混合层为C层。原则2:定义B图层的某点像素为点B, A图层的某点像素为点A, C层的某点像素为点C。(因为一个像素点是通过三个通道来显示的,所以点A的值为(Ar,Ag,Ab);点B,点C也同理。原则3:把0-255区间的换算,转换为0-1区间的换算:0对应的是0.128对应的是0.5255对应的是1.(所以,点A中RGB的三个通道的像素亮度的分别数值就改为0到1)原则4。转载 2024-03-21 15:08:41 · 311 阅读 · 0 评论 -
【ISP】PS混合模式(10)亮光
原则1:我们不妨把上方图层定义为B层,下方图层定义为A层,最后混合层为C层。原则2:定义B图层的某点像素为点B, A图层的某点像素为点A, C层的某点像素为点C。(因为一个像素点是通过三个通道来显示的,所以点A的值为(Ar,Ag,Ab);点B,点C也同理。原则3:把0-255区间的换算,转换为0-1区间的换算:0对应的是0.128对应的是0.5255对应的是1.(所以,点A中RGB的三个通道的像素亮度的分别数值就改为0到1)原则4。转载 2024-03-21 14:12:53 · 127 阅读 · 0 评论 -
【ISP】PS混合模式(9)强光(Hard Light)
我们比较了强光模式,柔光和叠加模式的变化范围,其中柔光的变化范围是最小的。也知道了强光模式是个横行霸道的模式,对谁都不谦让,喜欢以自我为中心,非常的横行霸道,说变暗就变暗,说变脸就变脸,说什么颜色就什么颜色。然而强光模式说真的,感觉没啥用。但是,也可以做一些有趣的效果的,因为这个模式类似颜色覆盖。比如下面这种:(感觉隔着黄色的玻璃,在看地球)至于为什么Adobe官网说,强光模式对于添加阴影和高光非常有效果,我就很不懂了。转载 2024-03-21 11:24:35 · 189 阅读 · 0 评论 -
【ISP】PS混合模式(8)柔光(Soft Light)
原则1:我们不妨把上方图层定义为B层,下方图层定义为A层,最后混合层为C层。原则2:定义B图层的某点像素为点B, A图层的某点像素为点A, C层的某点像素为点C。(因为一个像素点是通过三个通道来显示的,所以点A的值为(Ar,Ag,Ab);点B,点C也同理。原则3:把0-255区间的换算,转换为0-1区间的换算(重点):0对应的是0.128对应的是0.5255对应的是1.(所以,RGB的三个通道的像素亮度的分别数值就改为0到1,而不是0到255了。原则4。转载 2024-03-19 14:26:34 · 431 阅读 · 0 评论 -
【ISP】PS混合模式(7)叠加(Overlay)
原则1:我们不妨把上方图层定义为B层,下方图层定义为A层,最后混合层为C层。原则2:定义B图层的某点像素为点B, A图层的某点像素为点A, C层的某点像素为点C。(因为一个像素点是通过三个通道来显示的,所以点A的值为(Ar,Ag,Ab);点B,点C也同理。原则3:把0-255区间的换算,转换为0-1区间的换算:0对应的是0.128对应的是0.5255对应的是1.(所以,点A中RGB的三个通道的像素亮度的分别数值就改为0到1)原则4。转载 2024-03-19 10:25:12 · 428 阅读 · 0 评论 -
【ISP】PS混合模式(5)变暗组的秘密总结
我们来问一个问题,为什么调整曲线可以得出同样的效果,我们还要用这些混合模式呢?直接搞曲线不就好了吗?第一,很多事情最重要的是要高效,哪个方式高效,我们就用哪个。比如下面这个图,你用一个正片叠底就可以搞定了,当然,你也可以这么做设置几条曲线来调节,如果想消磨时间的话。第二,之所以要把这些混合模式用曲线来演示,是为了让我们的大脑直观的窥视原理而已。比起公式,图像难道不是更加直观吗?第三,变暗组的秘密都知道了,那么变亮组的还不简单吗?第四,完结,散花,散花!!转载 2024-03-13 18:13:59 · 67 阅读 · 0 评论 -
【ISP】PS混合模式(4)变暗模式和深色模式
原则1:我们不妨把上方图层定义为B层,下方图层定义为A层,最后混合层为C层。原则2:定义B图层的某点像素为点B, A图层的某点像素为点A, C层的某点像素为点C。(因为一个像素点是通过三个通道来显示的,所以点A的值为(Ar,Ag,Ab);点B,点C也同理。原则3:把0-255区间的换算,转换为0-1区间的换算:0对应的是0.128对应的是0.5255对应的是1.(所以,点A中RGB的三个通道的像素亮度的分别数值就改为0到1)原则4。转载 2024-03-13 17:19:53 · 221 阅读 · 0 评论 -
【ISP】PS混合模式(3)线性加深(Linear Burn)
我们来观察一下线性加深 的函数图像,真的非常线性,无论是自己混合自己,还是和纯色层混合,就从来没有 弯过。这下应该就懂得了,为什么叫做线性加深了吧。和纯色层混合时,这个图像非常的像一个内忧外患的王朝——光明陨落,黑暗蔓延。转载 2024-03-13 16:11:58 · 183 阅读 · 0 评论 -
【ISP】PS混合模式(2)颜色加深(Color Burn)
我们不妨把上方图层定义为B层,下方图层定义为A层,最后混合层为C层。:定义B图层的某点像素为点B, A图层的某点像素为点A, C层的某点像素为点C。(因为一个像素点是通过三个通道来显示的,所以点A的值为(Ar,Ag,Ab);点B,点C也同理。:把0-255区间的换算,转换为0-1区间的换算:0对应的是0.128对应的是0.5255对应的是1.(所以,点A中RGB的三个通道的像素亮度的分别数值就改为0到1):混合的意思是两个图层RGB的三个通道分别混合,最后一起显示。转载 2024-03-13 15:20:58 · 237 阅读 · 0 评论 -
【ISP】PS混合模式(1)正片叠底(乘法)
原则1:我们不妨把上方图层定义为B层,下方图层定义为A层,最后混合层为C层。原则2:定义B图层的某点像素为点B, A图层的某点像素为点A, C层的某点像素为点C。(因为一个像素点是通过三个通道来显示的,所以点A的值为(Ar,Ag,Ab);点B,点C也同理。原则3:把0-255区间的换算,转换为0-1区间的换算:0对应的是0.128对应的是0.5255对应的是1.(所以,点A中RGB的三个通道的像素亮度的分别数值就改为0到1)原则4。转载 2024-03-13 10:47:29 · 781 阅读 · 0 评论 -
【ISP】HSL和RGB之间的互转
RGB模式对机器很友好,但是不符合人眼的直观感受,所以人们发明了HSL模式。,代表颜色的红橙黄绿青蓝紫,,如人眼不能区分纯的黄光和由红光绿光混合而成的黄光(这种就是常说的同色异谱)。,饱和度越高,颜色越鲜艳,饱和度为0,颜色是灰色。,黑色的充要条件是亮度为0,白色的充要条件是亮度为最大值。转载 2024-03-12 16:05:37 · 1000 阅读 · 0 评论 -
【ISP】YU12、I420、YV12、NV12、NV21、YUV420P、YUV420SP、YUV422P、YUV444P
分为三个分量,“Y”表示明亮度(Luminance或Luma),也就是灰度值;而“U”和“V” 表示的则是色度(Chrominance或Chroma),作用是描述影像色彩及饱和度,用于指定像素的颜色。转载 2024-01-22 15:16:48 · 783 阅读 · 0 评论 -
【ISP】ISP调试岗位分类
对焦独立于其他模块,它可以在任何阶段进行调试。亮度是颜色和清晰度噪声的基础,一般都是先调亮度,在分别调试颜色和清晰度噪声。这样的分类主要是从最终画面效果的角度出发,不同画面效果之间的影响较小。原创 2023-12-25 17:25:16 · 625 阅读 · 0 评论 -
【ISP】BLC(Black Level Correction)
如图是数据流程图,可以看出sensor端可以进行模拟处理和数字处理,而ISP端智能进行数字处理,因为ISP接受的信号是经过AD转换后的数字信号,所以在sensor端处理就可以有更加精细,如上面比亚迪的专利中提到的,sensor端粗调可以通过模拟信号来处理,然后细调再通过数字处理的方式来处理。所以综上分析一般ISP端可以通过比较简单的校正来完成,这样可以节省硬件资源。这也就是大多是ISP芯片用的处理方式都很简单的原因。转载 2023-12-11 11:26:50 · 492 阅读 · 0 评论 -
【ISP】BLC--高通Camera Tuning Black level分析
黑电平(Black Level),也称作:Optical Black,很多人也称呼为OB,指的是光学暗区矫正,也就是黑色的最低点,指在经过一定校准的显示装置上,没有一行光亮输出的视频信号电平。定义图像数据为0时对应的信号电平。也可以比喻我们平时在称量物品的之前的较0处理。因为sensor本身存在暗电流,导致在没有外部光线照射的时候,也有一定的输出电压。最终sensor的输出需要减去这个数值。转载 2023-11-30 11:43:16 · 2390 阅读 · 0 评论 -
【ISP】如何评估相机灵敏度
比较帧率、分辨率和接口等基本相机规格很容易;使用我们筛选并排序 14+ EMVA 规格,找到完全符合您的项目要求的产品。但是,比较相机的成像性能,例如量子效率、颞暗噪音和饱和量,则有点复杂。首先,我们需要理解这些各种测量值真正意味着什么。什么是量子效率及在峰值或在特定波长下测得值是什么?信噪比如何不同于动态范围?本白皮书将会解答这些问题,并会解释如何根据成像性能数据、遵循 EMVA1288 标准比较和选择相机。EMVA1288 是一套定义要测量相机哪方面的性能、如何测量及如何用统一的方法呈现结果的标准。转载 2023-11-24 17:08:55 · 380 阅读 · 0 评论 -
【ISP】HCG、LCG和DCG
像素结构解释上图显示了CMOS的一个像素元电路结构。CG和FW有什么关系呢?首先capacitance的公式为 C=Q/V,其中Q为电荷(charge)单位为库仑(Coulombs),V为势(potential)单位为伏特(Volts)。CG其实就是“反着”表示FD capacitance的一种方式,也就是一个电子能产生多少的电压,CG=V/(Q/q),q表示基本电荷量。通常,像素中允许的电压摆幅(voltage swing)的大小由整个传感器设计确定。转载 2023-11-24 15:33:08 · 3495 阅读 · 0 评论 -
【ISP】噪声--sensor(2)
Bayer格式的sensor 通常存在四种像素(R,Gr,Gb,B),这四种像素的光电转换特性(即增益特性)不可能是完全一样的,不同种像素间存在种间差异,同种像素之间也存在个体差异,如下图所示。但是由于暗电流的存在,每次复位后都会残留一些大小随机的噪声信号,即复位噪声,其大小与像素结构、芯片温度、PN结电容有关,因此也称为kTC噪声。(8)串扰:串扰指的是入射到一个像素A的光信号没有在这个像素里被捕获,反而被其周围的像素B捕获,导致B产生了不该有的信号。(3)光子散粒噪声:光子本身的特性,符合泊松分布。原创 2023-11-21 16:09:03 · 924 阅读 · 0 评论 -
FPGA和CPU、GPU有什么区别?为什么越来越重要?
近年来, 诸如 TPU、MPU、DPU 等的”X”PU 们似乎层出不穷,市场经常会对这些新创造出的名词感到困惑: 为什么会出现这么多的单元?本质上是由于 CPU 的算力到达瓶颈了,背后是通用计算时代的终结。从发明 以来, CPU 算力的提升主要依靠两大法宝:一是提高时钟频率,但时钟频率提升面临瓶颈了。 因为越高的时 钟频率, 意味着每秒可执行的运算次数越高,但随着电压下降到 0.6v 的“底限”,Dennard 缩放定律(Dennard Scaling) 在 05 年开始崩溃, 再提高时钟频率就会使得功耗以转载 2023-11-17 16:43:24 · 709 阅读 · 1 评论 -
FPGA、 CPU、GPU、ASIC区别
众所周知,通用处理器(CPU)的摩尔定律已入暮年,而机器学习和 Web 服务的规模却在指数级增长。人们使用定制硬件来加速常见的计算任务,然而日新月异的行业又要求这些定制的硬件可被重新编程来执行新类型的计算任务。FPGA 正是一种硬件可重构的体系结构。它的英文全称是Field Programmable Gate Array,中文名是现场可编程门阵列。FPGA常年来被用作专用芯片(ASIC)的小批量替代品,然而近年来在微软、百度等公司的数据中心大规模部署,以同时提供强大的计算能力和足够的灵活性。转载 2023-11-16 14:21:11 · 356 阅读 · 0 评论 -
Intel和AMD的FPGA型号
今天是2023年5月22日,XILINX的FPGA已经发展到了第7代,在高性能可编程器件领域,Xilinx已经成为神一般的存在,尤其在航空、航天、军工、通信、医疗等领域,Xilinx有着难以撼动的地位。然而当下,美帝严格限制高端芯片出口,俄乌战争中俄罗斯军工严重缺芯,其中就包含了FPGA。我从事手机基带硬件设计行业,早些时候在航电领域也有过几年工作经验,深知FGPA在“高端硬件”领域有着举足轻重的地位。恰逢这两年国产化浪潮,帮朋友做了几个FPGA的项目,就把这么多年FPGA的经验积累做了个归纳总结。转载 2023-11-15 17:26:36 · 593 阅读 · 0 评论 -
ISO与动态范围和信噪比的关系
我将从CMOS成像原理出发,深入讲解ISO的本质,谁决定ISO,原生ISO和基准ISO的区别和定义,分析噪点产生的原因。详解信噪比、动态范围的区别与计算,以及最重要的ISO如何影响信噪比与动态范围。转载 2023-10-25 11:58:10 · 1360 阅读 · 0 评论 -
人眼视觉分辨率
Clarkvision Photography - Resolution of the Human Eye转载 2023-10-13 20:04:37 · 1188 阅读 · 0 评论 -
【滤波·5】超高速指数模糊算法
同时注意到_blurrow和_blurcol函数循环明显相互之间是独立的,可以利用多线程并行处理,但是这个代码主要是专注于算法的表达,并没有过多的考虑更好的效率。原来的三四行代码一下子变成了几十行的代码,会不会变慢呢,其实不用担心,SIMD真的很强大,测试的结果是3000*2000的图耗时降低到42ms左右,而且垂直方向的耗时占比有原先的60%降低到了35%左右,现在的核心就是水平方向的耗时了。另外一点,很明显,算法的耗时是和Radius参数没有任何关系的,也就是说这也是个O(1)算法。转载 2023-08-23 11:49:44 · 239 阅读 · 0 评论 -
【ISP】低亮度图片增强方法(1)
改进算法同样采用亮度提升和对比度增强两个独立模块分别处理。1、通过使用非线性传递函数实现的亮度提升。2、图像通过对比度增强进行处理相较INDANE算法,主要改进点在步骤2、4统计图像数据对亮度调节和对比度增强两个模块进行分别优化,达到算法应用普适化的效果,即对正常照度对比度好的图像微处理。转载 2023-08-15 14:10:47 · 514 阅读 · 0 评论 -
衡量CMOS图像传感器性能优劣指标
图像传感器的感光度,灵敏度,单位:mV/lux·s。转载 2023-08-09 14:15:08 · 1198 阅读 · 0 评论 -
ISP和DSP的区别
ISP 是Image Signal Processor 的简称,也就是图像信号处理器。而DSP是Digital Signal Processor 的缩写,也就是数字信号处理器。ISP一般用来处理Image Sensor(图像传感器)的输出数据,如做AEC(自动曝光控制)、AGC(自动增益控制)、AWB(自动白平衡)、色彩校正、Lens Shading、Gamma 校正、祛除坏点、Auto Black Level、Auto White Level 等等功能的处理。而DSP功能就比较多了,它可以做些拍照以及回显原创 2023-06-30 09:37:13 · 988 阅读 · 0 评论 -
【色度学】颜色的显色系统
从光的物理刺激角度认识他相,是指某些不同波长的光混合后,所呈现的不同色彩表象,;。从人的颜色视觉生理角度认识色相,是指人眼的三种感色视锥细胞受不同刺激后引起的不同颜色感觉。因此,色相是表明不同波长的光刺激所引起的不同颜色的心理反应。例如红、绿、黄、蓝都是不同的色相,但是由于观察者的经验不同会有不同的色觉。然而每个观察者几乎总是按波长的次序,将光谱按顺序分为红、橙、黄、绿、青、蓝、紫以及许多中间的过渡色。原创 2023-06-14 17:33:19 · 2560 阅读 · 0 评论 -
【色度学】光度学基础
(1)波长不同的可见光,引起人眼的颜色感觉不同。(2)人们观察到的颜色是物体和特有色光相结合的结果,而不是物体产生颜色的结果。原创 2023-06-14 10:01:39 · 303 阅读 · 0 评论