ISP专栏
文章平均质量分 78
ISP基本原理介绍、pipeline技术的介绍
mjiansun
Live and Learn.
展开
-
【ISP】PS混合模式(17)差值组小结
我们已经讨论过了差值组的四个模式了,也知道这几个模式有什么联系。如果你细心点,就会发现我把差值和排除写在同一章,而减去和划分写在另一章。之所以写在一起,因为性质相似。差值和排除从黑到白的过程,是一个反相的过程。为什么不把差值和减去写在一起呢?别看这两个模式有个减号,差别蛮大的。你也看过他们的变化图像了,根本一点都不像。转载 2024-04-05 15:22:09 · 22 阅读 · 0 评论 -
【ISP】PS混合模式(16)减去 和 划分
原则1:我们不妨把上方图层定义为B层,下方图层定义为A层,最后混合层为C层。原则2:定义B图层的某点像素为点B, A图层的某点像素为点A, C层的某点像素为点C。(因为一个像素点是通过三个通道来显示的,所以点A的值为(Ar,Ag,Ab);点B,点C也同理。原则3:把0-255区间的换算,转换为0-1区间的换算:0对应的是0.128对应的是0.5255对应的是1.(所以,点A中RGB的三个通道的像素亮度的分别数值就改为0到1)原则4。转载 2024-03-25 10:08:27 · 52 阅读 · 0 评论 -
【ISP】PS混合模式(15)差值和排除
我们不妨把上方图层定义为B层,下方图层定义为A层,最后混合层为C层。:定义B图层的某点像素为点B, A图层的某点像素为点A, C层的某点像素为点C。(因为一个是通过三个通道来显示的,所以点A的值为(,Ag,Ab);点B,点C也同理。:把0-255区间的换算,转换为0-1区间的换算:0对应的是0.128对应的是0.5255对应的是1.(所以,点A中RGB的三个通道的像素亮度的分别数值就改为0到1):混合的意思是两个图层RGB的三个通道分别混合,最后一起显示。:这些公式仅适用于。转载 2024-03-22 15:28:36 · 31 阅读 · 0 评论 -
【ISP】PS混合模式(14)对比组的小总结
这个组的所有模式,在顶层大于50%灰的地方,结果层是变亮的,而小于50%灰的地方是结果层是变暗的。转载 2024-03-22 12:05:30 · 19 阅读 · 0 评论 -
【ISP】PS混合模式(13)点光和实色混合
原则1:我们不妨把上方图层定义为B层,下方图层定义为A层,最后混合层为C层。原则2:定义B图层的某点像素为点B, A图层的某点像素为点A, C层的某点像素为点C。(因为一个像素点是通过三个通道来显示的,所以点A的值为(Ar,Ag,Ab);点B,点C也同理。原则3:把0-255区间的换算,转换为0-1区间的换算:0对应的是0.128对应的是0.5255对应的是1.(所以,点A中RGB的三个通道的像素亮度的分别数值就改为0到1)原则4。转载 2024-03-22 11:14:38 · 16 阅读 · 0 评论 -
【ISP】PS混合模式(12)强光,亮光,线性光的联系
这次我们将用这个图片做演示。在强光模式下,我们看东西,就像隔着一层玻璃一样,但是明暗比例还是那个比例。效果如下图所示:在亮光模式下,我们看到太阳周围和地球周围被染上了一层颜色(感觉太阳发了紫色光一样)。在线性光模式下,我们看着效果就像上面两个效果的合体,给人感觉很闷。那么线性光的效果,是不是和先做完 亮光 后,再做 强光 的效果一样呢?在公布答案之前,我们来看看效果。请看下图:我们合并了一个线性光效果的图层,然后把这个图层和亮光+强光的图层做比较。可以看到效果一模一样。转载 2024-03-21 15:50:38 · 20 阅读 · 0 评论 -
【ISP】PS混合模式(11)线性光
原则1:我们不妨把上方图层定义为B层,下方图层定义为A层,最后混合层为C层。原则2:定义B图层的某点像素为点B, A图层的某点像素为点A, C层的某点像素为点C。(因为一个像素点是通过三个通道来显示的,所以点A的值为(Ar,Ag,Ab);点B,点C也同理。原则3:把0-255区间的换算,转换为0-1区间的换算:0对应的是0.128对应的是0.5255对应的是1.(所以,点A中RGB的三个通道的像素亮度的分别数值就改为0到1)原则4。转载 2024-03-21 15:08:41 · 29 阅读 · 0 评论 -
【ISP】PS混合模式(10)亮光
原则1:我们不妨把上方图层定义为B层,下方图层定义为A层,最后混合层为C层。原则2:定义B图层的某点像素为点B, A图层的某点像素为点A, C层的某点像素为点C。(因为一个像素点是通过三个通道来显示的,所以点A的值为(Ar,Ag,Ab);点B,点C也同理。原则3:把0-255区间的换算,转换为0-1区间的换算:0对应的是0.128对应的是0.5255对应的是1.(所以,点A中RGB的三个通道的像素亮度的分别数值就改为0到1)原则4。转载 2024-03-21 14:12:53 · 17 阅读 · 0 评论 -
【ISP】PS混合模式(9)强光(Hard Light)
我们比较了强光模式,柔光和叠加模式的变化范围,其中柔光的变化范围是最小的。也知道了强光模式是个横行霸道的模式,对谁都不谦让,喜欢以自我为中心,非常的横行霸道,说变暗就变暗,说变脸就变脸,说什么颜色就什么颜色。然而强光模式说真的,感觉没啥用。但是,也可以做一些有趣的效果的,因为这个模式类似颜色覆盖。比如下面这种:(感觉隔着黄色的玻璃,在看地球)至于为什么Adobe官网说,强光模式对于添加阴影和高光非常有效果,我就很不懂了。转载 2024-03-21 11:24:35 · 24 阅读 · 0 评论 -
【ISP】PS混合模式(8)柔光(Soft Light)
原则1:我们不妨把上方图层定义为B层,下方图层定义为A层,最后混合层为C层。原则2:定义B图层的某点像素为点B, A图层的某点像素为点A, C层的某点像素为点C。(因为一个像素点是通过三个通道来显示的,所以点A的值为(Ar,Ag,Ab);点B,点C也同理。原则3:把0-255区间的换算,转换为0-1区间的换算(重点):0对应的是0.128对应的是0.5255对应的是1.(所以,RGB的三个通道的像素亮度的分别数值就改为0到1,而不是0到255了。原则4。转载 2024-03-19 14:26:34 · 33 阅读 · 0 评论 -
【ISP】PS混合模式(7)叠加(Overlay)
原则1:我们不妨把上方图层定义为B层,下方图层定义为A层,最后混合层为C层。原则2:定义B图层的某点像素为点B, A图层的某点像素为点A, C层的某点像素为点C。(因为一个像素点是通过三个通道来显示的,所以点A的值为(Ar,Ag,Ab);点B,点C也同理。原则3:把0-255区间的换算,转换为0-1区间的换算:0对应的是0.128对应的是0.5255对应的是1.(所以,点A中RGB的三个通道的像素亮度的分别数值就改为0到1)原则4。转载 2024-03-19 10:25:12 · 50 阅读 · 0 评论 -
【ISP】PS混合模式(5)变暗组的秘密总结
我们来问一个问题,为什么调整曲线可以得出同样的效果,我们还要用这些混合模式呢?直接搞曲线不就好了吗?第一,很多事情最重要的是要高效,哪个方式高效,我们就用哪个。比如下面这个图,你用一个正片叠底就可以搞定了,当然,你也可以这么做设置几条曲线来调节,如果想消磨时间的话。第二,之所以要把这些混合模式用曲线来演示,是为了让我们的大脑直观的窥视原理而已。比起公式,图像难道不是更加直观吗?第三,变暗组的秘密都知道了,那么变亮组的还不简单吗?第四,完结,散花,散花!!转载 2024-03-13 18:13:59 · 27 阅读 · 0 评论 -
【ISP】PS混合模式(4)变暗模式和深色模式
原则1:我们不妨把上方图层定义为B层,下方图层定义为A层,最后混合层为C层。原则2:定义B图层的某点像素为点B, A图层的某点像素为点A, C层的某点像素为点C。(因为一个像素点是通过三个通道来显示的,所以点A的值为(Ar,Ag,Ab);点B,点C也同理。原则3:把0-255区间的换算,转换为0-1区间的换算:0对应的是0.128对应的是0.5255对应的是1.(所以,点A中RGB的三个通道的像素亮度的分别数值就改为0到1)原则4。转载 2024-03-13 17:19:53 · 40 阅读 · 0 评论 -
【ISP】PS混合模式(3)线性加深(Linear Burn)
我们来观察一下线性加深 的函数图像,真的非常线性,无论是自己混合自己,还是和纯色层混合,就从来没有 弯过。这下应该就懂得了,为什么叫做线性加深了吧。和纯色层混合时,这个图像非常的像一个内忧外患的王朝——光明陨落,黑暗蔓延。转载 2024-03-13 16:11:58 · 32 阅读 · 0 评论 -
【ISP】PS混合模式(2)颜色加深(Color Burn)
我们不妨把上方图层定义为B层,下方图层定义为A层,最后混合层为C层。:定义B图层的某点像素为点B, A图层的某点像素为点A, C层的某点像素为点C。(因为一个像素点是通过三个通道来显示的,所以点A的值为(Ar,Ag,Ab);点B,点C也同理。:把0-255区间的换算,转换为0-1区间的换算:0对应的是0.128对应的是0.5255对应的是1.(所以,点A中RGB的三个通道的像素亮度的分别数值就改为0到1):混合的意思是两个图层RGB的三个通道分别混合,最后一起显示。转载 2024-03-13 15:20:58 · 33 阅读 · 0 评论 -
【ISP】PS混合模式(1)正片叠底(乘法)
原则1:我们不妨把上方图层定义为B层,下方图层定义为A层,最后混合层为C层。原则2:定义B图层的某点像素为点B, A图层的某点像素为点A, C层的某点像素为点C。(因为一个像素点是通过三个通道来显示的,所以点A的值为(Ar,Ag,Ab);点B,点C也同理。原则3:把0-255区间的换算,转换为0-1区间的换算:0对应的是0.128对应的是0.5255对应的是1.(所以,点A中RGB的三个通道的像素亮度的分别数值就改为0到1)原则4。转载 2024-03-13 10:47:29 · 66 阅读 · 0 评论 -
【ISP】HSL和RGB之间的互转
RGB模式对机器很友好,但是不符合人眼的直观感受,所以人们发明了HSL模式。,代表颜色的红橙黄绿青蓝紫,,如人眼不能区分纯的黄光和由红光绿光混合而成的黄光(这种就是常说的同色异谱)。,饱和度越高,颜色越鲜艳,饱和度为0,颜色是灰色。,黑色的充要条件是亮度为0,白色的充要条件是亮度为最大值。转载 2024-03-12 16:05:37 · 113 阅读 · 0 评论 -
【ISP】YU12、I420、YV12、NV12、NV21、YUV420P、YUV420SP、YUV422P、YUV444P
分为三个分量,“Y”表示明亮度(Luminance或Luma),也就是灰度值;而“U”和“V” 表示的则是色度(Chrominance或Chroma),作用是描述影像色彩及饱和度,用于指定像素的颜色。转载 2024-01-22 15:16:48 · 175 阅读 · 0 评论 -
【ISP】ISP调试岗位分类
对焦独立于其他模块,它可以在任何阶段进行调试。亮度是颜色和清晰度噪声的基础,一般都是先调亮度,在分别调试颜色和清晰度噪声。这样的分类主要是从最终画面效果的角度出发,不同画面效果之间的影响较小。原创 2023-12-25 17:25:16 · 557 阅读 · 0 评论 -
【ISP】BLC(Black Level Correction)
如图是数据流程图,可以看出sensor端可以进行模拟处理和数字处理,而ISP端智能进行数字处理,因为ISP接受的信号是经过AD转换后的数字信号,所以在sensor端处理就可以有更加精细,如上面比亚迪的专利中提到的,sensor端粗调可以通过模拟信号来处理,然后细调再通过数字处理的方式来处理。所以综上分析一般ISP端可以通过比较简单的校正来完成,这样可以节省硬件资源。这也就是大多是ISP芯片用的处理方式都很简单的原因。转载 2023-12-11 11:26:50 · 150 阅读 · 0 评论 -
【ISP】BLC--高通Camera Tuning Black level分析
黑电平(Black Level),也称作:Optical Black,很多人也称呼为OB,指的是光学暗区矫正,也就是黑色的最低点,指在经过一定校准的显示装置上,没有一行光亮输出的视频信号电平。定义图像数据为0时对应的信号电平。也可以比喻我们平时在称量物品的之前的较0处理。因为sensor本身存在暗电流,导致在没有外部光线照射的时候,也有一定的输出电压。最终sensor的输出需要减去这个数值。转载 2023-11-30 11:43:16 · 1013 阅读 · 0 评论 -
【ISP】如何评估相机灵敏度
比较帧率、分辨率和接口等基本相机规格很容易;使用我们筛选并排序 14+ EMVA 规格,找到完全符合您的项目要求的产品。但是,比较相机的成像性能,例如量子效率、颞暗噪音和饱和量,则有点复杂。首先,我们需要理解这些各种测量值真正意味着什么。什么是量子效率及在峰值或在特定波长下测得值是什么?信噪比如何不同于动态范围?本白皮书将会解答这些问题,并会解释如何根据成像性能数据、遵循 EMVA1288 标准比较和选择相机。EMVA1288 是一套定义要测量相机哪方面的性能、如何测量及如何用统一的方法呈现结果的标准。转载 2023-11-24 17:08:55 · 203 阅读 · 0 评论 -
【ISP】HCG、LCG和DCG
像素结构解释上图显示了CMOS的一个像素元电路结构。CG和FW有什么关系呢?首先capacitance的公式为 C=Q/V,其中Q为电荷(charge)单位为库仑(Coulombs),V为势(potential)单位为伏特(Volts)。CG其实就是“反着”表示FD capacitance的一种方式,也就是一个电子能产生多少的电压,CG=V/(Q/q),q表示基本电荷量。通常,像素中允许的电压摆幅(voltage swing)的大小由整个传感器设计确定。转载 2023-11-24 15:33:08 · 1229 阅读 · 0 评论 -
【ISP】噪声--sensor(2)
Bayer格式的sensor 通常存在四种像素(R,Gr,Gb,B),这四种像素的光电转换特性(即增益特性)不可能是完全一样的,不同种像素间存在种间差异,同种像素之间也存在个体差异,如下图所示。但是由于暗电流的存在,每次复位后都会残留一些大小随机的噪声信号,即复位噪声,其大小与像素结构、芯片温度、PN结电容有关,因此也称为kTC噪声。(8)串扰:串扰指的是入射到一个像素A的光信号没有在这个像素里被捕获,反而被其周围的像素B捕获,导致B产生了不该有的信号。(3)光子散粒噪声:光子本身的特性,符合泊松分布。原创 2023-11-21 16:09:03 · 386 阅读 · 0 评论 -
FPGA和CPU、GPU有什么区别?为什么越来越重要?
近年来, 诸如 TPU、MPU、DPU 等的”X”PU 们似乎层出不穷,市场经常会对这些新创造出的名词感到困惑: 为什么会出现这么多的单元?本质上是由于 CPU 的算力到达瓶颈了,背后是通用计算时代的终结。从发明 以来, CPU 算力的提升主要依靠两大法宝:一是提高时钟频率,但时钟频率提升面临瓶颈了。 因为越高的时 钟频率, 意味着每秒可执行的运算次数越高,但随着电压下降到 0.6v 的“底限”,Dennard 缩放定律(Dennard Scaling) 在 05 年开始崩溃, 再提高时钟频率就会使得功耗以转载 2023-11-17 16:43:24 · 335 阅读 · 1 评论 -
FPGA、 CPU、GPU、ASIC区别
众所周知,通用处理器(CPU)的摩尔定律已入暮年,而机器学习和 Web 服务的规模却在指数级增长。人们使用定制硬件来加速常见的计算任务,然而日新月异的行业又要求这些定制的硬件可被重新编程来执行新类型的计算任务。FPGA 正是一种硬件可重构的体系结构。它的英文全称是Field Programmable Gate Array,中文名是现场可编程门阵列。FPGA常年来被用作专用芯片(ASIC)的小批量替代品,然而近年来在微软、百度等公司的数据中心大规模部署,以同时提供强大的计算能力和足够的灵活性。转载 2023-11-16 14:21:11 · 161 阅读 · 0 评论 -
Intel和AMD的FPGA型号
今天是2023年5月22日,XILINX的FPGA已经发展到了第7代,在高性能可编程器件领域,Xilinx已经成为神一般的存在,尤其在航空、航天、军工、通信、医疗等领域,Xilinx有着难以撼动的地位。然而当下,美帝严格限制高端芯片出口,俄乌战争中俄罗斯军工严重缺芯,其中就包含了FPGA。我从事手机基带硬件设计行业,早些时候在航电领域也有过几年工作经验,深知FGPA在“高端硬件”领域有着举足轻重的地位。恰逢这两年国产化浪潮,帮朋友做了几个FPGA的项目,就把这么多年FPGA的经验积累做了个归纳总结。转载 2023-11-15 17:26:36 · 152 阅读 · 0 评论 -
ISO与动态范围和信噪比的关系
我将从CMOS成像原理出发,深入讲解ISO的本质,谁决定ISO,原生ISO和基准ISO的区别和定义,分析噪点产生的原因。详解信噪比、动态范围的区别与计算,以及最重要的ISO如何影响信噪比与动态范围。转载 2023-10-25 11:58:10 · 385 阅读 · 0 评论 -
人眼视觉分辨率
Clarkvision Photography - Resolution of the Human Eye转载 2023-10-13 20:04:37 · 336 阅读 · 0 评论 -
【滤波·5】超高速指数模糊算法
同时注意到_blurrow和_blurcol函数循环明显相互之间是独立的,可以利用多线程并行处理,但是这个代码主要是专注于算法的表达,并没有过多的考虑更好的效率。原来的三四行代码一下子变成了几十行的代码,会不会变慢呢,其实不用担心,SIMD真的很强大,测试的结果是3000*2000的图耗时降低到42ms左右,而且垂直方向的耗时占比有原先的60%降低到了35%左右,现在的核心就是水平方向的耗时了。另外一点,很明显,算法的耗时是和Radius参数没有任何关系的,也就是说这也是个O(1)算法。转载 2023-08-23 11:49:44 · 176 阅读 · 0 评论 -
【ISP】低亮度图片增强方法(1)
改进算法同样采用亮度提升和对比度增强两个独立模块分别处理。1、通过使用非线性传递函数实现的亮度提升。2、图像通过对比度增强进行处理相较INDANE算法,主要改进点在步骤2、4统计图像数据对亮度调节和对比度增强两个模块进行分别优化,达到算法应用普适化的效果,即对正常照度对比度好的图像微处理。转载 2023-08-15 14:10:47 · 293 阅读 · 0 评论 -
衡量CMOS图像传感器性能优劣指标
图像传感器的感光度,灵敏度,单位:mV/lux·s。转载 2023-08-09 14:15:08 · 659 阅读 · 0 评论 -
ISP和DSP的区别
ISP 是Image Signal Processor 的简称,也就是图像信号处理器。而DSP是Digital Signal Processor 的缩写,也就是数字信号处理器。ISP一般用来处理Image Sensor(图像传感器)的输出数据,如做AEC(自动曝光控制)、AGC(自动增益控制)、AWB(自动白平衡)、色彩校正、Lens Shading、Gamma 校正、祛除坏点、Auto Black Level、Auto White Level 等等功能的处理。而DSP功能就比较多了,它可以做些拍照以及回显原创 2023-06-30 09:37:13 · 706 阅读 · 0 评论 -
【色度学】颜色的显色系统
从光的物理刺激角度认识他相,是指某些不同波长的光混合后,所呈现的不同色彩表象,;。从人的颜色视觉生理角度认识色相,是指人眼的三种感色视锥细胞受不同刺激后引起的不同颜色感觉。因此,色相是表明不同波长的光刺激所引起的不同颜色的心理反应。例如红、绿、黄、蓝都是不同的色相,但是由于观察者的经验不同会有不同的色觉。然而每个观察者几乎总是按波长的次序,将光谱按顺序分为红、橙、黄、绿、青、蓝、紫以及许多中间的过渡色。原创 2023-06-14 17:33:19 · 1431 阅读 · 0 评论 -
【色度学】光度学基础
(1)波长不同的可见光,引起人眼的颜色感觉不同。(2)人们观察到的颜色是物体和特有色光相结合的结果,而不是物体产生颜色的结果。原创 2023-06-14 10:01:39 · 202 阅读 · 0 评论 -
【计算摄影学】总目录
1.数码相机2.图像传感器3.色度学4.图像处理5.ISP6.图像质量评价原创 2023-06-13 10:15:16 · 565 阅读 · 0 评论 -
圆、圆锥和球的相关概念和定义
圆的周长:C=2πr=πd(r为半径,d为直径)圆的面积:S=πr^2扇形弧长:L=圆心角θ(弧度制)×r= nπr/180(θ为圆心角,r为扇形半径,n为度数非弧度制)扇形面积:S1=nπ r²/360=Lr/2(L为扇形的弧长)转载 2023-06-12 16:08:15 · 369 阅读 · 0 评论 -
【ISP】光的能量与颜色(1)
光是能量的一种传播方式,光源所以发出光,是因为光源中原子的运动有三种方式:热运动,跃迁辐射,受激辐射,前者为生活中常见。转载 2023-06-12 14:49:18 · 438 阅读 · 0 评论 -
【ISP】LAB颜色空间
还不是特别理解,现在能想到的方法就是将图像从RGB转成LAB,然后调整L通道。我的疑问?如果时调整L通道,那么为什么不使用HSV中的V通道进行调整呢,容我再想想。。。。。。基本概念 同RGB颜色空间相比,Lab是一种不常用的色彩空间。它是在1931年国际照明委员会(CIE)制定的颜色度量国际标准的基础上建立起来的。1976年,经修改后被正式命名为CIELab。它是一种设...转载 2020-04-20 19:30:47 · 1403 阅读 · 0 评论 -
【ISP】色温
任何物体都具有不断辐射、吸收、反射电磁波的性质。辐射出去的电磁波在各个频率上是功率不同的,也就是具有一定的谱分布。这种谱分布与物体本身的特性及其温度有关,因而被称之为热辐射。为了研究不依赖于物质具体物性的热辐射规律,物理学家们定义了一种理想物体——(blackbody),以此作为热辐射研究的标准物体。理想黑体能够完全吸收任何频率、以任何角度入射到它表面的电磁波,并将吸收的辐射能以热能的形式向外辐射,其热辐射的光谱特征仅与该黑体的温度有关,与黑体的材质无关。转载 2023-06-09 09:49:53 · 248 阅读 · 0 评论