RAW,RGB,YUV数据格式通俗易懂学习笔记

YUV 颜色编码系统

当我们说YUV时，我们实际上在描述一种颜色编码系统，它用于在数字图像处理中表示颜色。这个编码系统包含三个分量：

• Y（亮度）：这个分量代表图像的明亮度或灰度级别。亮度分量决定了图像的明暗程度，它是黑白图像的基础。

• U（蓝色差）：这个分量表示蓝色和亮度之间的差异。它指示了图像中的蓝色和黄色的程度，负责描述图像中的色度信息。

• V（红色差）：这个分量表示红色和亮度之间的差异。它指示了图像中的红色和绿色的程度，同样负责描述图像中的色度信息。

YUV编码系统通常被用于电视信号、视频压缩和数字图像处理等领域。在视频传输和存储中，使用YUV编码可以更有效地表示颜色信息，因为人类视觉系统对亮度的感知更加敏感，而对颜色的感知则相对较低。

YUV420 和 YUV422 的区别

当我们谈论YUV420和YUV422时，我们可以把它们想象成画布上的小方块，这些小方块代表着图片中的像素。现在，让我们更详细地了解它们之间的区别：

YUV420

1. 在YUV420中，画布被分成许多4个小方块组成的大方块。每个大方块中，只有两个小方块用来表示颜色，而其他两个小方块则表示亮度。

2. 这两个用来表示颜色的小方块，一个代表蓝色和绿色的颜色，另一个代表红色和绿色的颜色。这样的编码方式使得每组4个像素中只有两个像素存储不同的颜色信息，而其他两个像素共享这两个像素的颜色信息。

YUV422

1. 在YUV422中，画布同样被分成4个小方块组成的大方块。不同的是，每个大方块中有两个小方块用来表示颜色，而另外两个小方块也都用来表示颜色。

2. 同样，这两个用来表示颜色的小方块，一个代表蓝色和绿色的颜色，另一个代表红色和绿色的颜色。这意味着在YUV422中，每组4个像素中都有两个像素存储不同的颜色信息。

所以，总的来说，YUV420和YUV422的区别在于它们在一组4个像素中存储颜色信息的数量不同。在YUV420中，只有一半的像素存储颜色信息，而在YUV422中，所有的像素都用来存储颜色信息。

RAW 数据转换为 RGB 或 YUV 的过程

当将RAW数据转换为RGB或YUV时，通常会涉及到ISP（图像信号处理）模块和SOC（系统芯片）的处理。以下是包括ISP处理和SOC算例的更详细步骤：

ISP 处理

1. 白平衡校正：ISP模块可以执行白平衡校正，以消除图像中的色偏。它会测量图像中的灰度参考点，并根据这些参考点调整图像的色彩平衡。

2. 色彩校正：ISP还可以执行色彩校正，以确保图像的颜色准确。这可能涉及到校正不同光源下的颜色表现。

3. 降噪处理：ISP可以执行降噪处理，以减少图像中的噪点和伪影。这可以通过应用滤波器或者使用复杂的降噪算法来实现。

4. 锐化处理：ISP可以对图像进行锐化处理，以增强图像的细节和清晰度。

5. 其他图像增强算法：ISP还可以包括其他图像增强算法，如对比度调整、色彩饱和度调整等。

SOC 算例

1. SOC通常由多个处理器核心、图像处理单元（如ISP）、图形处理单元（GPU）、内存控制器等组件组成。

2. 在SOC中，ISP模块通常作为一个专用的硬件单元集成在芯片中。它可以直接从摄像头传感器接收RAW数据，并在芯片内部执行图像处理和转换操作。

3. SOC还可能包括用于图像处理和计算的专用硬件加速器，如用于运行神经网络推理的神经处理单元（NPU）等。

4. SOC提供了一个高度集成的解决方案，能够在单个芯片上执行各种图像处理和计算任务，从而提高系统性能和功耗效率。

综上所述，ISP处理和SOC算例在将RAW数据转换为RGB或YUV时发挥着重要作用。ISP负责执行图像处理和增强操作，而SOC则提供了一个集成的硬件平台，能够高效地执行这些处理操作，并与其他系统组件协同工作。

相机的拍摄和成像过程

光学成像

当你按下快门时，相机中的镜头会调整焦距并聚焦在被拍摄的场景上。光线通过镜头进入相机内部。

传感器捕获

传感器是相机内部的一个芯片，由成千上万个微小的光敏元件组成，每个元件称为像素。当光线通过镜头进入相机并照射在传感器上时，每个像素会产生电信号，这些信号的强度和颜色取决于所接收到的光线的属性。

RAW 数据生成

每个像素产生的电信号被转换为数字数据，形成原始的RAW图像数据。这些数据是未经过任何处理或压缩的，它们仅包含了每个像素的亮度和颜色信息。

RAW 数据的转换和还原过程

ISP 处理

RAW数据被传输到图像信号处理（ISP）单元。ISP单元执行一系列处理步骤，包括：

1. 白平衡校正：校正图像的色偏，使白色看起来真正是白色。

2. 色彩校正：调整图像的颜色，确保它们准确无误。

3. 降噪处理：减少图像中的噪点，提高图像的清晰度和质量。

色彩空间转换

经过ISP处理后的数据可能会被转换为所需的色彩空间，如RGB或YUV。这个过程包括将RAW数据中的亮度和颜色信息重新映射到新的色彩空间中。

RGB 还原

如果需要RGB图像，转换后的数据会以红、绿、蓝三个通道的形式组成RGB图像。每个像素都有红、绿、蓝三个通道的值，用来表示其颜色。

YUV 还原

如果需要YUV图像，转换后的数据会以亮度（Y）、色度（U）、色度（V）三个分量的形式组成YUV图像。Y分量表示亮度，U和V分量表示颜色。

举例说明

假设我们拍摄了一张照片，这张照片被相机传感器捕获并生成了原始的RAW数据。然后，这些RAW数据经过相机内部的ISP处理单元处理，进行了白平衡校正、色彩校正和降噪处理。最后，这些数据被转换为RGB格式，我们就可以在电脑或手机上查看这张照片了。

另外，如果我们想要将这张照片转换为YUV格式，那么经过ISP处理的数据会再次被转换，最终生成YUV图像。这样，我们就可以在视频编辑或传输过程中使用这种颜色空间。

RGB666 和 RAW10 的区别

RGB666和RAW10都是数字图像处理中常见的数据格式，它们有一些区别并且用途不同。

RGB666

• 格式说明：

  • RGB666是一种RGB颜色格式，其中每个颜色通道（红、绿、蓝）都用6位表示。
  • 每个像素包含红、绿、蓝三个通道，每个通道各占6位，共18位。
  • 这种格式的像素值以RGB顺序存储，通常是按照红、绿、蓝通道顺序排列的。

• 用途：

  • RGB666常用于显示设备，如LCD显示屏，以及一些图像处理器中。
  • 这种格式的像素可以直接用于在屏幕上显示图像，或者作为图像处理算法的输入。

RAW10

• 格式说明：

  • RAW10是一种原始图像数据格式，其中每个像素用10位表示。
  • 这种格式的像素值并不是直接表示颜色信息，而是相机传感器捕获的未经处理的原始图像数据。

• 用途：

  • RAW10常用于摄像机传感器输出的原始图像数据。
  • 这种格式的数据需要经过图像信号处理。