qq_39257814的博客

NRluma（亮度降噪模块）是图像处理中的一个重要环节，尤其在ISP（Image Signal Processor，图像信号处理器）流程中扮演着关键角色。NRluma（亮度降噪模块） 是在图像处理中用于减少或消除亮度（luma）噪声的模块。亮度噪声通常表现为图像中的灰度噪点，这些噪点会影响图像的清晰度和视觉质量。NRluma模块通过特定的算法和技术来降低或消除这些亮度噪声，从而改善图像的整体质量。NRluma，即亮度降噪模块，主要负责对图像中的亮度（Luma）分量进行降噪处理。

Hue/Saturation Control（色调/饱和度控制）是一种在图像处理、视频编辑以及摄影后期处理中常用的功能，它允许用户调整图像或视频中的颜色属性，具体来说就是色调（Hue）和饱和度（Saturation）。在YUV图像中，Hue（色调）和Saturation（饱和度）的控制是图像处理中的一项重要技术。YUV色彩空间是一种广泛使用的色彩编码方式，尤其在视频压缩和传输中。

Edge Enhancement（边缘增强）**是图像增强处理的一种重要技术，它旨在将图像中相邻像元（或区域）的亮度值（或色调）相差较大的边缘（即影像色调突变或地物类型的边界线）处加以突出强调。定义：Edge Enhancement是一种图像增强技术，通过增强图像中的边缘信息，使图像更加清晰和易于识别。目的：经边缘增强后的图像能更清晰地显示出不同的物类型或现象的边界，或线形影像的行迹，以便于不同的物类型的识别及其分布范围的圈定。

NRChroma（NR去色噪模块）是图像处理中的一个重要环节，特别是在ISP（Image Signal Processing，图像信号处理）流程中，它主要负责去除图像中的色彩噪声（Chroma Noise）。色彩噪声是YUV色彩空间中UV分量的噪声，表现为像素之间的色彩波动，对画质的破坏力通常比亮度噪点（Luma Noise）更为明显。

Color Space Conversion，即颜色空间转换，是图像处理领域中的一个重要概念。颜色空间是将颜色以数值化的方式描述的一种方法，不同的颜色空间具有不同的特性和应用场景。

Gamma Correction（伽马校正）是一种图像处理技术，用于调整图像的亮度和对比度，以更好地适应人眼的视觉感知特性。Gamma Correction，又称伽马非线性化或伽马编码，是对图像进行非线性色调编辑的方法。它通过对图像的伽玛曲线进行编辑，以改善图像的显示效果。具体来说，它涉及到对图像信号中的深色部分和浅色部分进行非线性处理，使两者比例增大，从而提高图像的对比度效果。Gamma Correction是一种重要的图像处理技术，它通过调整图像的Gamma值来改善图像的亮度和对比度效果。

Color Correction（色彩校正）是数字图像处理中的一项重要技术，旨在通过调整图像的色彩分布和颜色平衡，改善图像的色彩质量和真实感。色彩校正是指用相同的方法改变图像中的所有像素的颜色值，以得到不同的显示效果。其主要目的是修复图像中的色偏、色温、对比度等问题，使图像的颜色更加符合人眼的感知和真实场景的色彩。Color Correction（色彩校正）是数字图像处理中的一项关键技术，通过调整图像的色彩分布和颜色平衡，可以显著改善图像的色彩质量和真实感。

Demosaicing（去马赛克）是一种数位影像处理算法，其目标是从覆有滤色阵列（Color Filter Array，简称CFA）的感光元件所输出的不完全色彩取样中，重建出全彩影像。这一过程也被称为滤色阵列内插法（CFA interpolation）或色彩重建法（Color reconstruction）。定义：Demosaicing是一种数字图像处理技术，用于将数码相机中的原始图像数据（通常是通过单个带有CFA的感光元件捕获的）转换成完整的彩色图像。

色度噪声滤波（Chroma Noise Filtering）是图像处理领域中的一个重要技术，主要用于减少或消除图像中的色度噪声，提升图像质量。以下从定义、原理、方法、应用、挑战及未来发展趋势等方面对色度噪声滤波进行详细介绍。色度噪声（Chroma Noise）是指图像在色彩通道中出现的随机噪声，它不同于亮度噪声，主要影响图像的色彩信息。色度噪声滤波则是指通过一系列算法和技术手段，对图像中的色度噪声进行检测、分析和抑制的过程，以改善图像的色彩表现和视觉效果。

Auto White Balance（AWB），即自动白平衡，是相机图像处理中的一个重要功能，它旨在通过算法自动调整图像色彩，以消除因不同光源色温差异而引起的颜色偏差，从而还原物体在自然光下的真实颜色。以下是对AWB的详细介绍，包括其基本原理、应用场景、算法实现以及技术挑战等方面。

Lens Shading Correction（LSC），即镜头阴影矫正，是图像处理中的一个重要环节，特别是在计算机视觉、摄影、摄像以及数字图像处理等领域。LSC的主要目的是解决由于镜头光学特性导致的图像亮度或色彩不均匀的问题，使得图像在整个视场中具有一致的亮度水平和色彩分布。以下是对Lens Shading Correction的详细介绍，包括其定义、成因、分类、矫正方法以及应用等方面。

在图像ISP（Image Signal Processor，图像信号处理器）处理中，Anti-aliasing Filter（抗混叠滤波器）是一个至关重要的组件，它对于确保图像质量、防止信号失真以及提高信号处理的精度具有关键作用。以下是对Anti-aliasing Filter在图像ISP处理中的详细介绍。抗混叠滤波器（Anti-aliasing Filter），也称为抗锯齿滤波器，是一种在图像处理中广泛应用的低通滤波器。

Black Level Correction（黑电平校正，简称BLC）是图像处理中的一个重要环节，特别是在数字图像处理和相机成像系统中。它的主要目的是消除图像中的暗电流噪声和感光器非均匀性引起的色彩偏差，从而提高图像的整体质量。以下是对Black Level Correction的详细解析。黑电平（Black Level）是指图像中最暗的部分，即黑色数据的最低电平值，通常指感光图像数据为0时对应的sensor信号电平值。

DPC（Defect Point Correction），即缺陷点校正或坏点校正，是一种在摄像头图像处理中非常重要的算法，主要用于摄像头传感器中坏点的检测和修复。Dead Pixel Correction（简称DPC），即坏点校正的方法有很多， 读者可以自行查阅相关资料。在一些sensor中，也会自带DPC功能，这也能有效减轻SOC测(ISP)的负载。总之，DPC算法是摄像头图像处理中不可或缺的一部分，它通过有效的坏点检测和修复技术，显著提高了图像质量并提升了用户体验。

笔者编写这部分文章主要是为了熟悉了解ISP的处理流程。通过简单的代码实现，了解ISP的处理过程。熟悉各阶段的处理逻辑以及相应的处理方法。在sensor采集图像数据后，不管是经过摄像头模组内的ISP 还是在SOC测的ISP，都需要有ISP的处理，否则输出的图像效果是不尽人意的。所以笔者为了能了解ISP的处理流程，从网上找了一些代码资料。通过代码一步一步熟悉ISP的处理，这有助于camera开发人员更加深入的了解camera的工作流程。笔者目前在开发高通平台的camera，但是高通平台的ISP代码是闭源的。

QAM8650P/QAMSRV1H是高通公司的下一代Snapdragon高级驾驶员辅助系统（ADAS）模块。在ADAS中、摄像头的使用必不可少。那么我们就会涉及摄像头驱动的开发。本文主要讲解在SA8650平台，基于snapdragon-auto-qx-4-4-0_hlos_dev_qnx，ES9-r00012.1基线新增摄像头驱动的详细流程分析。

＜sa8650＞ sa8650介绍＜sa8650＞QAM8650P-之-引导和核心BSP体系结构技术概述＜sa8650＞sa8650 XBL-之-XBL配置指南＜sa8650＞ sa8650基线代码编译＜sa8650＞ snapdragon-auto-hqx-4-5-6-0基线代码编译＜sa8650＞sa8650开发板-之-刷机教程(flashing)＜sa8650＞sa8650 CDT-之-汽车CDT配置用户指南（上）＜sa8650＞sa8650 CDT-之-汽车CDT配置用户指南（下）

如果存在相同的文件，低级文件夹中的Tuning 文件优先于高级文件夹中的Tuning 文件。如果您的设备有多个传感器（如环视摄像头、前置摄像头等），您需要为每个传感器创建一个单独的项目，且每个项目必须使用相同的 XSD 集。在项目中添加子场景，这样就可以针对不同的用例、功能、场景和效果进行调整，从而与子场景的父场景保持一致。创建项目后，在 "管道 "选项卡中，将根据所选的用例和调整模式创建 ISP 管道。生成二进制文件时，除了为子文件明确Tuning 的参数外，子文件将继承父文件的设置。

高通公司 ISP 调整二进制由多层用例组成。一个物理传感器映射到一个二进制tuning包。tuning二进制文件的基本概念是自上而下的继承树结构。如果存在相同文件，低层文件夹中的tuning文件会覆盖高层文件夹中的tuning文件。例如，在下图中，如果当前tuning树的第 0 层和第 2 层都有锐度tuning文件，则只有覆盖父级tuning文件后，黄色突出显示的文件才会生效。下图说明了调整树的层次结构。每个类别的数量可根据项目用例的需要进行扩展。字符串可以修改（前 3 级除外）。

我们在使用QCX时，如果由于使用的摄像头自带了ISP，那么可能不需要使用QCX中的ISP功能了。这个时候就需要使用特定的pipeline，使数据流不经过ISP了。在sa8650平台中，高通在QCX中提供了ID16_UsecaseRawLiteAuto，使数据流直接在IFELite输出，而不经过ISP(IFE 和 IPE)的处理。下面我们就开分析分析。

但是，在某些情况下，CAMX 尚未初始化，FuSa 会产生错误（例如，摄像机检测和探测序列期间的错误）。QCarCamErrorInfo_t 的以下字段适用：errorId、errorCode、errorSource、inputId、frameId、bufferlistId 和时间戳。在任何客户端应用程序启动之前，启动或启动序列中产生的错误（相机检测错误、BIST 错误等）将仅通知安全监视器。这是特定数据流的致命错误，如违反 CCIF 协议等，qcarcam 驱动程序为此启动了内部恢复。

CSID： Camera Stream Interface Decoder（摄像机数据流接口解码器）、MIPI 协议解码器功能。IFE_L: Imaging Front End Lite(简易成像前端)、RDI（RAW 转储接口） DMA 引擎到 DDR。SFE_L: Streaming Front End Lite（流媒体前端精简版）、用于脱机模式的总线接口。每个 PHY 支持以下模式：4 个数据通道 OR 2 个数据通道 + 1 个数据通道。以下是从硬件角度列出的功能。典型用途：低延迟 FFC 功能。

在第一篇文章＜sa8650＞QCX Usecase 使用详解— Spectra Studio工程建立中已经讲解了如何利用Spectra Studio建立usecase的工程，并打开图形界面等介绍。接下来就是要讲解如何创建一个usecase了。

目前高通平台在camera模块中，我们会使用到usecase这么一个功能模块；本文主要讲解sa8650平台中，通过Spectra Studio 可视化配置usecase的使用。usecase的配置涉及到视频流在CAMX中的流转和处理过程。有效的配置usecase可以得到用户想得到的数据类型，包括raw数据、yuv、rgb。以及是否将数据经过IFELite、IFE、IPE等。根据上述过程，我们就可通过工程查看usecase了。

QTI 参考 cases/pipelines使用专有的自动曝光控制 (AEC) 和自动白平衡 (AWB) 算法。不过，该框架允许原始设备制造商集成自己的自定义 AEC 和 AWB 算法。本节将介绍如何将自定义算法集成到 QCX 框架中。以下代码片段显示了在Usecase AutoFFC中通过引用包含的 StatsSegmentAuto。修改段 StatsSegmentAuto，用 OEM 定义的自定义 AEC 插件取代 QTI 专有 AEC 算法。

CCI 调试器是一个外部工具，用于与 CCI 块交互，并通过 I2C 协议与外部硬件设备通信。它是一种实用程序，可用于通过 I2C 读写所连接摄像头设备的寄存器。在 qdrive3.0 QNX 映像中，它位于目标机上的 /mnt/bin/camera（或 /ifs/bin/camera）。

在QCX中，用户可通过两种方式配置log的等级；一种是静态配置，另一种是动态配置；静态配置是固化参数到源码中；动态配置是通过配置文件，在启动QCX时进行加载。

在前面的几篇关于usecase的文章中；我们时常会修改camxoverridesettings.txt文件中的内容。camxoverridesettings.txt文件的内容主要涉及的参数都是关于CAMX模块的。所以当我们需要更改CAMX相关的配置时，可通过camxoverridesettings.txt进行修改。

本页介绍根据 OEM/Tier1 要求创建自定义用例/管道的步骤。在本例中，我们创建一个新的使用Usecase/Pipeline，其数据流如下。

在某些开发过程中，我们可能需要使用到raw格式的原始图像数据。在高通SA8650平台中，借助QCX框架下的设计，我们可以在IFE_Lite节点后获取。

注：Leopard OV3FX 默认需要 6 Gbps 的 GMSL 链路。但 MAX96724f 仅支持 3 Gbps。四个 OV3FX（SRV）传感器连接 Max96724 的端口 0/1/2/3。Max96712 的端口 1 连接一个 VD1940（ICMS）传感器。一个 H1H（FFC）传感器连接到 Max91716 的端口 0。五、更改 qc.camera_qcx.config.build。qcx.log：参考日志（工作日志）如下。

当 qcarcam_test 成功运行后，可以通过两种方式将图像转储为文件。转储文件存储在 /tmp 文件夹中。

QTI 为应用程序与 2A 算法、2A 算法与带有客户供应商标签的传感器库之间的通信提供了一种方式。供应商标签的最大大小定义为 200 字节。如果尺寸增大，例如通过 CustomDebugDataAutoAEC 标签增加了 1 MB 的调试数据，算法设置的标签值将被 CamX stats lite 节点内部复制到另一个缓冲区。因此，如果每隔一帧设置一次 1 MB 的数据，CamX 就会在内部复制 1 MB 的数据。这可能会影响性能。

camxoemcustomization.cpp 中的 GetCustomStandardImageDimension API 可添加和删除分辨率。默认支持分辨率列表。如果不包含分辨率，请在标准图像尺寸表中添加分辨率。分辨率必须在 standardImgDimenson 中添加和删除。

本节说明在使用Usecase/Pipeline XML 中添加多个 IPE 实例所需的更改。以下示例解释了如何在 AutoSRV 使用案例/管道中添加两个 IPE 实例。在 camxAutoSRV.xml 中，在节点列表标记下定义 IPE 的新实例。在下面的示例中，定义了 IPEOfflineInstanceName1。确保每个 IPE 实例的以下参数都是唯一的。

本页介绍 IFE/IPE 管道模块的端口定义。用例 3 是一个示例，因为它在一个用例中调用了 IFE_Lite、IFE_Full 和 IPE 实例。

本节说明更改流水线输出格式所需对 Usecase/Pipeline XML 进行的更改。下面的示例解释了如何在 AutoFFC 使用案例/管道中添加 RGB888 格式。如果尚未定义所需的段格式，确保在 common_target_buffers.xml 中的以下位置定义 target_segment。在 camxAutoFFC.xml 中，修改 IFE/IPE 输出目标格式。根据管道中是否启用了 IPE 节点，相应的目标将在用例/管道选择时启用。

用例剪枝可实现光流设计分段（节点和目标缓冲区），这些分段实现了共享的逻辑接口，而这些接口的实现可能会发生冲突，但不会重复流水线。例如，overridesettings.txt 中的 enableAutoNoIPE=FALSE。在 /qcamera/camera_qcx/cdk_qcx/oem/qcom/chiusecase/a 中的 chxusecaseselector.cpp 中获取覆盖设置。

为了支持具有多个上下文和多个相同格式输出流的传感器，我们需要一种方法来将输出 CamX 流与客户端提供的 QCX 缓冲区列表关联起来。

环视摄像头用例可在高通 POR 传感器上进行测试。在高通示例设置中，SRV 传感器连接到第二个 quad 的四个端口（解串器 1 插槽的端口 0、1、2 和 3）。共有四个 SRV 传感器，每个传感器都独立运行 SRV 用例。SRV 传感器在逻辑摄像机 XML 中定义为 max96724_ox03f10_04、max96724_ox03f10_05、max96724_ox03f10_06、max96724_ox03f10_07。