camera CCM

已于 2024-09-10 19:42:39 修改
阅读量1k 收藏 16
点赞数 10
文章标签： 图像处理 数码相机 信号处理
于 2024-09-10 19:38:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48453244/article/details/142106585
版权

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

前言

AWB tuning 中，有个色彩校正模块CCM，今天就来聊一下，主要是关于它的算法计算原理。

一、概念

CCM色彩校正矩阵，用于修正图像传感器所捕捉到的原始RGB数据，使输出的图像颜色更接近自然色或人眼的感知。

二、校准（MTK 6s为例）

ps：此部分旨在疏通流程，工具具体操作步骤不在此叙述，若需要可参考 MTK 官方文档

 - 确认前端模块正常，before CCM 的模块确认OK，OB、LSC、AE。
 - 获取 processed raw（after lsc），使用对应模组sensor，开dump，在标准灯箱，拍摄不同光源（ D65  TL84  CWF A  H）色卡，色块建议占比25%，亮度要求patch#19   350<G<550,10bit。
 - 工具校正，导入processed raw、gamma、target 色卡，然后选择不同光源进行校正。
 - 校正后数据，CCM.cpp
 - 参数调用,根据awb gain进行矩阵差值，这里的awb gain是no preference gain。
  **输入数据敲重点：**
1.raw，因不同sensor对rgb的响应是不同，在同环境采集的数据会存在差别，所以每颗新料都需要重新校正----》不同sensor，processed raw不同
2.gamma，与AE息息相关,gamma修改会导致最终成像色彩和目标色彩存在差异----》gamma可变，修改后需重新校准CCM
3.target, 经典色卡目标数据可以是jpg或者csv格式，固定不可修改-----》target 固定
输入数据中，变量是process raw和gamma

三、计算

1、校准目标

(mtk)得到3*3矩阵，且行归512
eg:如下图，RR+RG+RB=1362+(-917)+67=512

在这里插入图片描述

疑问点
	1、CCM是在rgb域实现的，那色域转换是rgb色域直接到rgb色域嘛？
	2、相加和为512的依据是什么？

2、彩色图像处理

为了解决前面的疑问，需要具备彩色相关基础，了解颜色和色谱，了解数字图像处理有哪些彩色模型。人眼椎状体是负责色觉的传感器，约600~700万个，能感知很多色彩，而机器和人眼对色彩的响应范围是存在差异的。随着科技的发展，各行行业都有定义自己的色域模型。

2.1、彩色基础

光的三原色：RGB ，由CIE（国际照明委员会）定义，R 700纳米（nm）,G 546.1纳米（nm），B 435.8纳米（nm）
光的二次色：CMY，由三原色相加
色度：色调和饱和度统称为色度，一种颜色可以由其亮度和色度表示。
三色值：任何一种特色颜色的红色量，绿色量，蓝色量，分别表示XYZ，由CIE定义。归一化是简化颜色的计算和比较，将颜色转到二维坐标中进行分享。

在这里插入图片描述

CIE色度图：确定了人眼感知到的所有色彩范围，可用来定义色彩空间。 CIERGB色度图，使用三原色RGB来定义颜色，不同		的RGB光混合可以产生各种可见的颜色，直观的展示出颜色在RGB彩色空间的分布情况。因在RGB系统中r的刺激值是负数，实际不存在负数的光强，所以CIE1931年定义了假象的标准原色X(红)Y（绿）Z（蓝），CIEXYZ色度图，国际标准表示颜色的方式，基于XYZ描述颜色，目的是提供一种与设备无关的颜色表示方法，以便在不同的设备和应用中准确地描述和传递颜色信息。
eg:
    CIERGB色度图

在这里插入图片描述

在这里插入图片描述

	 CIEXYZ色度图

在这里插入图片描述
在这里插入图片描述

2.2、彩色模型

用某种标准来描述颜色，不涉及颜色种类和范围，通俗点，就是建立数学模型，其坐标轴就是对应的某种标准。

  • RGB彩色模型，每种颜色都可以使用红色、绿色、蓝色光谱成分显示，应用于彩色显示设备和彩色摄影机。

  • CMY\CMYK彩色模型，青色Cyan、深红色Magenta、黄色yellow是颜料的三原色，等量的CMY混合，理想结果是黑色，但由于颜料纯度不够，实际容易混合出棕色，不满足生产需求，为产生真正的黑色，需要加入第四种颜色—黑色black，由此定义了CMYK彩色模型。
    RGB转CMY\CMYK
    在这里插入图片描述
    在这里插入图片描述

    每个颜色通道8bit，那就是255

  • HSI彩色模型，便于人类描述颜色，色调、饱和度、亮度。
    RGB转HSI公式

在这里插入图片描述

  • CIE Lab模型：为了保持显示器和输出设备之间颜色一致性，需要用一个与设备无关的彩色模型来实现，许多色彩管理系统选择CIE Lab模型。
    Lab*彩色分量的计算公式如下：
    在这里插入图片描述

2.3、色彩空间(摄影、显示)

色彩空间描述色度图覆盖率
sRGB (Standard Red Green Blue)1996年开发，应用在网页和消费电子产品约30%
Adobe RGB1998年开发，应用专业图像编辑和印刷行业1998年开发，应用专业图像编辑和印刷行业
NTSC美国国家电视标准委员会制定的色域标准，主要用于模拟电视广播>srgb，不常用
DCI-P3数字影院>Adobe RGB
Rec.601(BT601)国际电信联盟（ITU）制定的一个标准，最早数字视频标准之一，主要用于标清电视（SDTV）<Rec. 709
Rec. 709(BT709)国际电信联盟（ITU）为高清电视（HDTV）制定的色彩空间标准sRGB色域相似，但略有不同
Rec. 2020（BT.2020）ITU为超高清电视（UHDTV）制定的最新色彩空间标准>Rec. 709
BT.2100ITU-R为HDR电视制定的推荐标准与BT.2020相兼容
ProPhoto RGB柯达公司开发,用于专业摄影和印刷>90%
Display P3苹果公司为其显示设备定义的色彩空间>srgb

2.4 彩色模型、色彩空间和色域之间的关系？

如彩色显示设备–》RGB彩色模型 显示设备可以是SRGB色彩空间，也可以是adobeRGB色彩空间；
其中SRGB色彩空间的色域<adobeRGB色彩空间的色域 ；
色彩模型是用数学方式描述颜色，不同模型，坐标轴不同；
色彩空间（子集）是基于一个模型来说，所包含颜色的范围和精度（8bit、16bit），最大的色彩空间是色度图（全集）；
色域特定色彩空间能够表示的颜色范围。

3、色彩管理

色彩管理是一个在不同设备和媒介之间确保色彩一致性的系统，它涉及多个步骤和组件，包括设备校准、色彩特性文件的创建和色彩空间的转换。以下是色彩管理的一些基本概念和流程：

  1. 设备校准（Calibration）：这是色彩管理的第一步，涉及调整输入（如扫描仪、相机）和输出（如打印机、显示器）设备以确保它们的颜色输出符合一定的标准。
  2. 设备特征化（Characterisation）：在这一步中，使用色彩测量工具（如分光光度计）来测量设备的色彩输出，并创建一个设备特性文件（ICC Profile），该文件描述了设备的色彩能力。
  3. 色彩空间转换（Conversion）：色彩管理系统使用设备特性文件来转换色彩数据，以确保在不同设备间的色彩一致性。这个过程通常涉及到一个中间的色彩空间，如CIE Lab或CIE XYZ，这些空间是与设备无关的。
  4. 色彩特性文件（ICC Profile）：这是色彩管理的核心，包含了设备的色彩描述信息，用于在不同设备间进行色彩转换。
  5. 色彩管理模块（CMM）：这是色彩管理系统中的软件部分，负责实际的色彩转换工作。
  6. 再现意图（Rendering Intent）：在色彩转换过程中，需要指定再现意图，它决定了如何处理色彩空间外的颜色。常见的再现意图包括相对色彩度、绝对色彩度、饱和度和感知。
  7. 色彩测量工具：如分光光度计和色度计，用于精确测量和分析色彩。
  8. 色彩管理软件：市面上有多种色彩管理软件，如BasicColor、i1Profiler、pressSIGN等，它们提供了不同的功能来支持色彩管理工作流程。
  9. 标准光源箱：用于在一致的照明条件下观察和比较颜色，以减少环境光线对色彩判断的影响。
  10. 国际标准色卡：如Pantone色卡，提供了一种通用的颜色语言，以确保不同用户和设备间的颜色一致性。
    色彩管理的目的是确保设计、摄影、印刷等行业中色彩的准确性和一致性，从而提高产品质量和客户满意度。随着技术的发展，色彩管理在包装印刷、数字媒体和跨平台设计中变得越来越重要。

4、CCM 计算

不同sensor对RGB的响应不同，且与人眼有差，不做任何转换时，其捕捉到的RGB数据不属于标准色彩空间中，需要将其转化到标准色彩空间中。因不同环境采集到的RGB数据不同，所以需要求得矩阵M，然后通过转换到sRGB空间。其中，色彩空间转化过程中会涉及中间色彩空间，该空间与设备无关，如CIEXYZ，或者CIELab，简易流程如下：
在这里插入图片描述
由sensor_RGB空间分别经过M2和M’以及1/gamma校正完成。其中,sensorRGB空间我们称之为"源色彩空间",非线性sRGB空间称之为"目标颜色空间"target。目前,我们能够得到源色彩空间的"不饱和图"对应的24色色块，也有非线性SRGB空间的"饱和图"对应的24色色块，而M1和1/gamma的数值是已知的,那么,只需要将非线性sRGB经过1/gamma校正然后再转换到XYZ空间，那时就可以和sensorRGB数值联立从而求得矩阵M2，继而求得M。
sensor_RGB，已知，采集的processed raw 数据
M2未知
M1可求出：非显性的sRGB经过反gamma变换，得到线性sRGB，因标准色彩空间转换的公式已知，可求得M1，比如基于sRGB定义的参考白点D65的转换矩阵：
在这里插入图片描述
非线性的sRGB: targrt(前面校准环节有提到)
1/γ：反gamma
综上所述的，raw和gamma发生变化时，CCM都需重新校准。

牛_阿花
关注
【Camera CCM矩阵色彩准度和饱和度调试方法】
jiangchaobing_2017的博客
07-21 1462
在camera中，CCM（Color Correction Matrix，色彩校正矩阵）校准的工作原理主要涉及通过一个3x3的矩阵系数来校正图像传感器（sensor）捕捉到的景物的R（红）、G（绿）、B（蓝）色彩，以使其更接近人眼真实看到的色彩。颜色的饱和度是指色彩的纯度，某色彩的纯度越高，则其表现的就越鲜明；在调试过程中，要关注ce模块下的blue_surp和red_surp值，一般要求blue_surp的值大于red_surp，且这两个值不能设得太小（小于0x30），以避免肤色调试后出现奇怪的效果。
CCM工作原理知识.pdf
05-15
1.CCM概述 2.Knowledge of CMOS Sensor 3.Lens 成像 4.产品测试 CMOS sensor architecture relative illumination EEF BFL TTL OTTL
CCM 优化代码，包含部分isp模块
06-10
CCM 优化代码，包含部分isp模块
色彩校正（CCM）和伽马校正（Gamma）
ISP行业的忠实粉丝
09-15 1万+
目录 1、色彩矫正（CCM） 2、伽马校正（Gamma） 1、色彩矫正（CCM） 色彩校正（Color Correction）是指用相同的方法改变图像中的所有像素的颜色值，以得到不同得显示效果。图像采集系统在获得数字图像时，由于一起或环境光照或人为因素的影响，采集的图像往往与原始图像有很大差别。颜色校正可以在一定程度上减少这种差别。 利用 RGB 颜色模型可以方便地调整图像的 RGB 分量值，这对校正偏色很有用。色彩校正的基本原理如下： 其中， Mij ...
颜色校正CCM
wandaxiao的专栏
03-27 1万+
概要：1 CCM定义及出现的原因；2 CCM的算法设计；3 注意事项 1. CCM是什么以及出现的原因 1.1 CCM是什么 Color Correction Matrix (CCM)是一个由至少俩矩阵合在一起的矩阵。 如图1所示一般的ISP流程，在去马赛克过后就进行了CCM。之后再进行Gamma校正。 图 1 ISP示例 Gamma之后ISP中的空间就变成了非线性sRGB空间了。...
Camera中的CCM变换和标定
luoganttcc的博客
03-23 1371
hello， 今天聊一聊ISP当中的一个重要模块CCM；为什么ISP模块中要有这个模块呢，上面列的一堆原因，最重要的因素是我们肉眼的对光谱的RGB响应曲线和sensor的响应曲线是不同的；CCM一般是3x3矩阵形式，也有3x4形式的，3x4形式主要是给rgb各自加一个offset保证灰点也就是r=g=b的点，经过CCM以后仍然r=g=b；注意shading影响，拍这个色卡占整个sensor中间一小部分就可以主要包括减blc，根据第4行的patch，获取awb gain值，乘上去；
摄像头模组CCM简介
最新发布
m0_73482095的博客
12-19 3944
摄像头模组，全称Camera Compact Module，简写为CCM。CCM 包含几大件： 镜头(lens)、音圈马达(VCM)、传感器（sensor）、软板（FPC）、图像处理芯片（DSP）。工作原理：物体通过镜头（lens）聚集的光,通过CMOS或CCD集成电路，把光信号转换成电信号，再经过内部图像处理器（ISP）转换成数字图像信号输出到数字信号处理器（DSP）加工处理，转换成标准的GRB、YUV等格式图像信号。摄像头模组主要由以下几个部分组成：镜头(Lens)：将光线汇聚到图像传感器上。
CCM矩阵色彩校正的方法
热门推荐
一只特立独行的zhu..
06-21 3万+
1、 CCM矩阵调试注意事项： 调试CCM矩阵时，先将矩阵配置成单位阵（rr=gg=bb=1），再将饱和度提高到适当值； rr，gg，bb对应CCM矩阵的RGB饱和度，数值越大饱和度越大； 在此基础上对着24色卡，对颜色进行调整。一般情况下，先调整红绿蓝三原色，再调整其他的颜色； 先调整 rg/gg/bg 保证红色和黄色正常，再调整 rb/gb/bb 保证绿色和黄色正常，然后调整 rr/gr/br 保证蓝色和红色正常； ce模块下的blue_su...
颜色校正矩阵（CCM）的简单介绍
qq_41320406的博客
07-06 7791
在ISP tuning过程中经常会遇到通过各个平台算法标定的颜色校正矩阵（CCM）不能完全满足需求的情况，比如饱和度偏低或者偏高，某个色块的色偏方向和对比机不同等，这个时候就需要自己手动去微调CCM中的某个值。
计算机视觉颜色校正方法
weixin_42010722的博客
07-04 6037
sRGB（standard Red Green Blue）是由Microsoft影像巨擘共同开发的一种彩色语言协议，它提供了一种标准方法来定义色彩，让显示、打印和扫描等各种计算机外部设备和应用软件对于色彩有一个共通的语言。白平衡（White Balance，简称WB）是一项重要的图像处理任务，旨在确保不同照明条件下拍摄的图像中的颜色保持一致。然而，传统的白平衡编辑方法在纠正错误的白平衡设置时面临一些挑战，特别是由于相机综合信号处理器（ISP）的非线性渲染效果。
相机色彩校正工具箱：此工具箱可以轻松计算数码相机色彩校正的最佳色彩校正矩阵 (CCM)。-matlab开发
05-31
Camera Color Correction Toolbox 通过最小化非线性损失函数，可以轻松计算相机响应和目标之间的最佳色彩校正矩阵。 该工具箱可以与图像信号处理管道中的其他模块无缝协作，如空间非均匀性校正、白平衡等。 支持以下颜色校正模型： * 线性变换* 多项式回归* 根多项式回归 请参阅此 .gif 以获取粗略印象： https://raw.githubusercontent.com/QiuJueqin/color-correction-toolbox/master/demo/screenshot.gif
HI3516CV300+rt8201f+ccm3310 Camera摄像主板Cadence16.6设计硬件原理图+PCB6层
02-10
HI3516CV300+rt8201f+ccm3310 Camera摄像机主板Cadence 16.6设计硬件原理图+PCB【6层】文件，Cadence设计的硬件原理图PCB，及封装库文件，可以做为你的学习设计参考。
手机与Camera CCM技术发展趋势
吴建明wujianming_110117
06-19 528
手机与Camera CCM技术发展趋势 CCM是CMOS Camera Module 互补金属氧化物半导体摄像模组的英文缩写，用于各种新一代便携式摄像设备的核心器件，与传统摄像系统相比具有小型化，低功耗，低成本，高影像品质的优点。 手机摄像头微型化、专业化、智能化趋势延续,模组单价持续提升。根据数据,手机应用占CCM 市场规模的70%以上,2020年,手机CCM 市场规模增长约占75%,即手机CCM 将是增长主力。尽管手机数量及摄像头渗透率渐趋饱和,手机摄像头市场导入了双摄、大光圈、自动对焦、AR 等功能加
下面 tensorflow代码转化为paddlepaddle2.2.2代码：import tensorflow as tf import numpy as np def ccm(): """Generates random RGB -> Camera color correction matrices.""" # Fixed XYZ -> Camera CCM. cam2xyz = [[0.4679,0.2145,0.3176],[0.1433,0.8236,0.0331],[0.0003,-0.3607,1.3604]] xyz2cam = tf.convert_to_tensor(np.linalg.inv(np.array(cam2xyz)),dtype = np.float32) # Multiplies with RGB -> XYZ to get RGB -> Camera CCM. rgb2xyz = tf.to_float([[0.4124564, 0.3575761, 0.1804375], [0.2126729, 0.7151522, 0.0721750], [0.0193339, 0.1191920, 0.9503041]]) rgb2cam = tf.matmul(xyz2cam, rgb2xyz) # Normalizes each row. rgb2cam = rgb2cam / tf.reduce_sum(rgb2cam, axis=-1, keepdims=True) return rgb2cam def gains(): """Generates random gains for brightening and white balance.""" # RGB gain represents brightening. rgb_gain = 1.0 # Red and blue gains represent white balance. red_gain = 1.0 / 0.5527 blue_gain = 1.0 / 0.4844 return rgb_gain, red_gain, blue_gain
05-30
# Fixed XYZ -> Camera CCM. cam2xyz = np.array([[0.4679,0.2145,0.3176],[0.1433,0.8236,0.0331],[0.0003,-0.3607,1.3604]], dtype=np.float32) xyz2cam = fluid.layers.create_tensor(data=np.linalg.inv(cam2...
mtk驱动camera的调试总结1--原理
u010783226的专栏
04-22 2701
关于camera的调试总结主要从原理知识，调试流程及代码流程，调试碰到的问题总结3个方面讲解。 camera在手机驱动调试中占了大头，相对比较复杂。主要是他涉及到的原理、代码比较多，名词也比较多。首先咱们先从摄像头的原理开始。可以从MTK官网或普通网站搜索了解即可，我在这结合项目来做个简单的总结。 1、下图是camera模组的基本结构。 2、CCM的工作原理： 物体通过镜头（lens）聚集的光,通过CMOS或CCD集成电路，把光信号转换成电信号，再经过内部图像处理器（ISP）转换成数字图像信号输出到数
Color correction matrix（色彩矩阵）的学习思考
大熊
04-19 1万+
Color correction matrix（色彩矩阵）的学习思考 转载于：Color correction matrix（色彩矩阵）的学习思考 一张好的色彩效果图像，是gamma，AWB，CCM，动态范围以及对比度等的共同影响形成，CCM是其中很重要的一环。 为了说的更清楚，先来简...
图像预处理----颜色空间模型/图像滤波/Gamma矫正
weixin_41585924的博客
12-11 3237
1 颜色空间处理 1.1 RGB 1.2 CMYK 1.3 YUV 1.4 HSV 2 平滑滤波 3 归一化和标准化
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值