颜色相关处理:CCM、HUE、Saturation、RGB2YUV

颜色相关处理:CCM、HUE、Saturation、RGB2YUV
功能需求：新增色调(HUE),饱和度(Saturation)

camera tuning中常用缩写
哈基米的日常 2022-05-12 14:51 广东
1.BLC/OB：（Black Level Correction）黑电平矫正；暗电流矫正
2.FPN：（Fixed Pattern Noise）固定模式噪声
3.DPC：（Defect Pixel Correction）坏点矫正
4.WDR：（Wide Dynamic Range）宽动态范围
5.BNR：（Bayer Noise Reducation）拜尔噪声消除
6.LSC：（Lens Shading Correction）镜头阴影矫正
7.AWB：（Auto White Balance）自动白平衡
8.AE：（Auto Exposure）自动曝光
9.AF：（Auto Focus）自动对焦
10.AI：（Auto Iris）自动光圈
11.DRC：（Dynamic Range Compression）动态范围压缩
12.Demosaic：去马赛克
13.CCM：（Color Correction Matrix）颜色矫正矩阵
CCM原理参考：https://zhuanlan.zhihu.com/p/706451753
14.Gamma：伽玛矫正
15.CSC：（Color Space Convert）颜色空间转换
16.CAC：（Chromatic Aberration Correction）色差矫正
17.CD：（Chromatic Dispersion）色散
18.Sharpen：锐化
19.3DNR：3D去噪
20.ACE：（Auto Color Enhance）自动颜色增强
21.AntiFlicker：抗频闪
22.DIS：（Digital Image Stabilization）数字防抖
23.LostFrameStrategy：丢帧策略
24.ISP：图像信号处理
25.HDR：（High Dynamic Range）高动态范围成像
26.ADC：模数转换，将模拟信号转化成数字信号
27.ADU：模数单元
28.DN：数据号
29.SNR：信噪比
30.FPS：帧率（影响画面流畅度，与画面流畅度成正比；帧率越大，画面越流畅）
31.LLS：长曝光（可以把光线暗的景色拍的更清晰）
32.SA：场景分析器
33.DA：决策聚合器
34.GCM：灰度匹配
35.FCM：固定颜色匹配
36.ISO：感光度
37.SCF：观光度校正系数
38.LTM：局部色调映射
39.CCT：（Camera Calibration Tool）相机校准工具
40.CC：色彩转换/校正
41.GTM：绿色不平衡校正
42.ANR：高级降噪
43.MLC：误导性颜色

Ccm功能说明及原理

CCM的颜色校正矩阵定义了从原始颜色空间到目标颜色空间的映射关系
CCM的工作原理基于颜色空间的线性变换，通常由3x3的矩阵构成，每个元素代表对应颜色通道的权重，当一个RGB图像通过CCM进行变换时，每个颜色通道的值都会根据矩阵中的权重进行加权和调整。数学上，CCM的作用可以通过以下公式表示：

在ISP中CCM是可以配置的，用户可以根据具体需求或特定场景进行调整，这一定程度上取决于用户的喜好，
在介绍Gamma前先解释一下为什么所有的ISP框架中CCM都在Gamma前面，这是因CIE在定义颜色的时候是把XYZ投影在了X+Y+Z=1平面上（如图2所示），这相当于是把亮度给指定成了单位1，也就是在亮度为1的前提下讨论颜色，所以先用CCM确定颜色再用Gamma调整亮度是合乎逻辑的流程，而倒过来则会引入亮度这个变量，使颜色调校不准。

CCM在Gamma前并不意味着CCM做完之后就紧接着做Gamma，而是说在ISP的处理流程中，CCM的位置在Gamma前。事实上，有些厂家的ISP可能会在CCM后加入降噪模块，这可能是因为Gamma会拉高暗区的噪声，先处理噪声有助于提升图像效果，或者是在CCM后面加入3DLUT进一步调整颜色，做完这些模块之后才做Gamma。不同的厂家设计出来的ISP千差万别，配合不同的tunning风格，获得的效果也完全不同，千万别思维定式。

1.2 Gamma的工作原理

https://zhuanlan.zhihu.com/p/653352999
isp流程介绍(yuv格式阶段)
一、前言介绍
前面两章里面，已经分别讲解了在Raw和Rgb域里面，ISP的相关算法流程，从前面文章里面可以看到，在Raw和Rgb域里面，很多ISP算法操作，更像是属于sensor矫正或者说sensor标定操作。本质上来说，设计的目的上很多是为了改善sensor本身的硬件缺陷。
而在Yuv域中，更多一些的是对图像画质的增强或者说风格化处理，在设计意义上，与前面Raw和Rgb阶段稍微存在一点区别。如前文描述，Rgb图像经过CSC格式转换得到YUV图像，将人眼敏感的亮度信息和不太敏感的颜色信息分离。因此，在Yuv阶段整个流程中，可以看作是能够并行的对亮度通道Y处理，和对颜色通道UV处理。
问题1：什么是Raw域和Rgb域？什么又是Yuv域？
ISP是和硬件强相关的图像处理模块，可以看出来图像数据在ISP内部经历了两次颜色空间变换，分别在最初的RAW域、中间的RGB域、最终的YUV域处理完成。其中RAW、RGB、YUV是什么概念，分别介绍一下。
RAW域(RAW Domain)，英文意思是原始的，也就是刚从sensor输出的图，最开始的没有任何处理的原始数据。
问题2：RGB图像格式如何转换到Yuv域？
二、Y通道处理
2、Hue & Saturation
Hue & Saturation主要是在做颜色和饱和度调整，简单来说就是根据需求，针对性的对图像不同区域的UV通道信息进行调整。YUV格式之类科普我这里就不做了，需要了解的话，可以参考：YUV格式到底是什么？-腾讯云开发者社区-腾讯云 等资料。
具体来说，这里设计的功能，最初主要用来对不同应用场景和不同客户喜好的风格调整，比如希望颜色更鲜艳一些之类需求。随着发展逐渐加入了肤色调整(让肤色还原度更高)，天空调整(比如让天空更蓝)等操作，近些年很多还加入了场景适配，简单理解就是对预览输入画面进行场景识别，比如风景/人像/宠物/美食等，对不同场景适配不同参数，让对应的场景颜色等维度，分别能都更加符合人眼感官。
具体颜色转换相关细节,这里也不深入讲了，后面研究这块时候慢慢刷再。目前的话，小伙伴们，可以参考：刘斯宁：Understanding Hue and Saturation 等资料
https://cloud.tencent.com/developer/article/2103503
YUV格式到底是什么？
YUV是视频、图片、相机等应用中使用的一类图像格式，实际上是所有“YUV”像素格式共有的颜色空间的名称。 与RGB格式（红 – 绿 – 蓝）不同，YUV是用一个称为Y（相当于灰度）的“亮度”分量和两个“色度”分量表示，分别称为U（蓝色投影）和V（红色投影），由此得名。YUV也可以称为YCbCr，虽然这些术语意味着略有不同，但它们往往会混淆并可互换使用。
Y表示亮度分量：如果只显示Y的话，图像看起来会是一张黑白照。
U（Cb）表示色度分量：是照片蓝色部分去掉亮度（Y）。
V（Cr）表示色度分量：是照片红色部分去掉亮度（Y）。

要说清楚YUV，得分别说清楚以下两点：
YUV的采样格式：即我们在采集图片、视频帧时，是如何获取每个像素的Y、U、V三个分量的。
YUV的存储格式：即Y、U、V三个分量的值，是以什么方式存储在内存或者文件中的。

https://blog.csdn.net/weixin_44949552/article/details/105187526
彩色空间转换实验:RGB2YUV
实验原理
一、YUV与RGB空间的转换
在电视原理中我们学到过YUV与RGB的转换公式如下：

Y＝0.2990R+0.5870G+0.1140B
V＝0.7010R-0.5870G-0.1140B
U＝-0.2990R-0.5870G+0.8860B

除此之外，还需要对两个色差信号进行归一化，使得压缩后的色差信号动态范围控制在0.5以内，所以最终的转换公式为：

Y＝0.2990R+0.5870G+0.1140B
U＝-0.1684R-0.3316G+0.5B
V＝0.5R-0.4187G-0.0813B

二、量化后的码电平分配
对YUV信号进行8bit量化，共256个量化等级。Y为亮度信号，其上端留下20级防止信号造成过载，下端留下16级作为动态保护带；UV信号则是上端留下15级，下端留下16级，除此之外，UV信号还需进行零电平调整，使其零电平对应码电平+128。

三、4：2：0色度亚采样
4：2：0格式下，色差信号的取样频率为亮度信号的四分之一。

编程思路
1、根据RGB文件的格式，将其数据存入开辟的缓存空间中，再分离R、G、B三个分量，在文件中数据顺序为BGRBGRBGR…。
2、开辟YUV的缓存空间，根据公式和读取的RGB分量计算YUV分量，注意量化码电平分配和UV信号加128。
3、开辟新的UV空间，进行4：2：0格式采样，计算新的UV时取宽高的4个数据为一组求平均值。
3、将YUV分量写入新建的yuv文件，在YUV文件中数据顺序为：所有Y所有U所有V。

Sat、Hue借助CCM模块生效，在HDR功能中，为避免偏色，暂跳过CCM模块—许升

2024年7月9日14点29分