【图像】图像格式(2) : 一张图理清所有的RAW RGB YUV图像格式

已于 2023-05-06 06:47:25 修改
阅读量8k 收藏 85
点赞数 15
分类专栏： 软件 图像 基本功 文章标签： 图像处理
于 2021-07-29 08:28:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tao475824827/article/details/119141811
版权
本文详细介绍了RAW、RGB和YUV三种图像格式在摄影和摄像头领域的关键概念，包括RAW的原始数据特性、ISP处理过程，RGB的三原色原理，以及YUV在色彩表现和压缩上的优势。重点讲解了YUV的不同采样方式、排列方式和命名规则，并提到了安霸平台的常见YUV类型NV12和NV16。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

0. 引言

之前一直做着和camera有关的工作，所以常常会涉及到图像格式的问题。感觉接触的名字和种类很多，索性好好整理一下，分个类，也方便后面再整理。

1. 直接上结论

直接总结了一张图
在这里插入图片描述

2. 图像格式

2.1 RAW

RAW图像是sensor出来的最原始的数据。
是光线透过滤镜之后直接得到的数据，每个像素只有一种颜色的数据。通常情况下，每个像素的数据量是10bits或者12bits，当然也有sensor有其他的8，14，16等等。
RAW的基本介绍可以看这篇文章.
一般的摄像头都会支持RAW格式的输出，这样我们拿到RAW数据之后，是没有办法直接使用的，还要在host端做ISP，做色彩纠正，增强，HDR，插值成RGB，转成YUV，最后再使用。像amba平台就是直接读取RAW数据，送入idsp来做一系列的3A操作的。另外记录一下，Amba平台对RAW数据有packed和compressed两种设定选择。如果未设置packed，每个像素不管是10位，12位，14位，都会占据2个字节16位，如果选择了packed，则会按照真实的位数排列。如果设置了compressed，则会进行数据压缩，整体数据量平均每个像素达到27/32个字节。
有些项目，不追求很高的sensor的3A效果，就会直接使用sensor输出的YUV或者RGB，这就是使用了sensor内置的一些差值算法，直接得到图像，比较方便，并且省host的运算资源，但是不够自由，可以调节的东西不多。
对于RAW数据，会有不同的bayer类型，是GBRG，GRBG，RBBG，GBBR的一种，其实也就是透镜的类型。

但是不管在senosr做还是在host主机做，RAW想用起来，都是要做插值得到真正的RGB图像的。

2.2 RGB

RGB是大家很熟悉的一种类型。三原色的原理就不做太多介绍了。
在windows的绘图板中，我们就可以通过调试三原色不同的比例得到不同的颜色。
在这里插入图片描述
RGB常用的数据格式有 RGB888，RGB565，RGB555这么几种。

2.3 YUV

YUV 是一个比较不好理解的类型，而且种类很多.
也是这篇文章的重点。
什么是YUV？RGB很好用，但是他对黑白图像的支持不是很好，因此，人们又会把RGB转成YUV格式。YUV中的Y，表示明亮度（Luma），就是灰度图。U和V分别对应Cb和Cr，代表色度（Chroma），作用是描述影像色彩及饱和度，用于指定像素的颜色。

2.3.1 采样方式

分类方式根据采样的不同，分为YUV444，YUV422，YUV420.

  • YUV444：每个像素点同时包含Y/U/V 3个参数
  • YUV422：每2个像素点共享一组U/V参数，同时每个像素拥有自己的Y参数
  • YUV420：每4个像素点共享一组u/v参数，同时每个像素拥有自己的Y参数

2.3.2 排列方式

确定了采样方式之后，数据的排列又分为3种：

  • planar（注意不是planer，也不是plannar）：把Y数据，U数据和V数据单独放置3块位置，形成3个平面
  • semi-planar：把Y数据独立，UV数据放在一起，形成2个平面。
  • packed：YUV数据打包在一起，无论单独的Y数据U数据还是V数据，地址都不是连续的。

2.3.3 命名方式

YUV的命名规则也有好几种，因此同一个类型有可能会有好几种名字，

  • YUVxxxP, YUVxxxSP
    e.g. YUV422P，YUV420SP
    根据plannar，semi-planner 和 packed的类型来定义的，这种感觉最好记。
    plannar就是P，注意顺序都是Y前U中V后
    semi-plannar就是SP，注意顺序都是Y前UV后。
  • Ixxx
    e.g. I422，I420
    感觉是plannar的别称
    I422就是YUV422P
    I420就是YUV420P
  • NVxx，YVxx
    e.g NV12，NV21，NV16，YV12
    NV代表属于semi-plannar，12代表一个像素所占的实际bits。NV12是YUV420SP，每个像素占据1个Y(8Bit)+1/4 个UV(8 * 2 / 4 = 4bit) = 12bits

2.3.4 类型

YUV根据采样方式不同，排列方式不同，命名方式不同，有N多类型。
我基本都总结在文章开头的表格里了，感觉要细分的话还能再分，但是暂时不用这么细吧，实际也用不到，全部记住没什么意义，记住一些常用的即可。
毕竟开发平台定下来之后，几种常用的数据类型也就随之确定了。安霸这边主要就是用NV12和NV16.

参考链接

RAW和YUV的区别
小灰灰的博客
12-09 1772
RAW是指未经过任何压缩或处理的原始图像数据。在摄像头中，原始图像数据可以是来自图像传感器的未经处理的像素值。这些原始数据通常以一种Bayer模式的形式存在，其中每个像素仅包含一种颜色信息（红色、绿色或蓝色），需要通过后续的图像处理算法进行插值和去马赛克来生成最终的彩色图像。YUV是一种广泛用于表示彩色图像的颜色空间。在YUV格式中，亮度信息表示图像的明暗程度，而色度信息表示图像的颜色信息。常见的YUV格式有NV12、NV21、YUYV等，摄像头设备支持的视频格式列表中也包括了一些YUV格式。
RAW图与BAYER图异同
doubleintfloat的博客
03-14 1099
定义：RAW文件是图像传感器将捕捉到的光源信号转化为数字信号的原始数据。相机在拍摄时，光线通过镜头到达图像传感器，传感器将光线的强度、颜色等信息转化为电信号，再经过模数转换变成数字数据，RAW格式直接保存这些原始数据，而不经过相机内部的图像优化处理（如色彩校正、对比度调整、锐化等）。地位：RAW格式被形象地称为“数字底片”，就像传统胶片摄影中的底片一样，它保留了最原始、最完整的图像信息，为后期处理提供了极大的空间。RAW图RAW图是相机图像传感器直接输出的、未经处理和压缩的原始数据文件。
RAW、YUV、RGB、JPEG格式简介
yaoming168的专栏
09-23 1万+
文章目录1.RAW与YUV2.rawRGB、RGB和YUV数据格式与转换3.YUV、RGB、RAW DATA、JPEG 4种方式区别3.1 YUV、RGB、RAW DATA、JPEG 定义3.2 为何要拍摄RAW？3.3 JPEG格式有什么优点？ 1.RAW与YUV 背景，可感受光强度的传感器可以制造出能拍出黑白照片（是灰度图）的相机。但如果需要彩色图像，这种技术就无能为力了，因为当时的传感器只能感知光的强度，而无法感知颜色，也就是频率或波段。如果想要获得不同波段的光，最直接的做法是加入不同颜色的滤镜，从而
RawDataFileMaker查看raw格式和yuv格式
08-10
camera开发常用的工具 camera开发常用的工具 camera开发常用的工具
RAW、RGB和YUV格式
weixin_42463482的博客
02-12 6897
RAW数据、RGB和YUV格式简单介绍
图像格式：常见图像格式RAW, RGB, YUV&&图像格式的解析、格式转换和看图软件
叫好与叫座虽然不是对立面，但想在同一个作品中达到双重效果很难。
09-01 6805
是被欧洲电视系统所采用的一种颜色编码方法。其中“Y”表示明亮度（Luma）,就是灰阶值，而“U”和“V”表示色度（Chroma）。与我们熟知的RGB类似，YUV也是一种颜色编码方法；主要用于电视系统以及模拟视频领域，它将亮度信息（Y）与色彩信息（UV）分离，没有UV信息一样可以显示完整的图像，只不过是黑白的，这样的设计很好地解决了彩色电视机与黑白电视的兼容问题。并且，YUV不像RGB那样要求三个独立的视频信号同时传输，所以用YUV方式传送占用极少的频宽。
Bayer Pattern to RGB(RAW数据转换成RGB图像的过程)
taotongning的博客
12-03 1万+
Bayer Pattern to RGB(RAW数据转换成RGB图像的过程) Sensor3彩色数字相机需要3个单色sensor获得彩色图像的R，G，B分量，成本较高。单CCD获得彩色图像的方法是在 CCD表面覆盖1个只含红、绿、蓝3色的马赛克滤镜，对其输出信号通过一定的处理算法实现。这个设计理念最初由拜尔提出，所以这种滤镜也被称作拜尔模板 (bayer pattern)。 The Bayer...
【图像】图像格式(2) : 一张图理清所有的RAW RGB YUV图像格式-my write
小硕算法工程师
08-01 471
的输出，这样我们拿到RAW数据之后，是没有办法直接使用的，还要在host端做ISP，做色彩纠正，增强，HDR，插值成RGB，转成YUV，最后再使用。有些项目，不追求很高的sensor的3A效果，就会直接使用sensor输出的YUV或者RGB，这就是使用了sensor内置的一些差值算法，直接得到图像，比较方便，并且省host的运算资源，但是不够自由，可以调节的东西不多。对于RAW数据，会有不同的bayer类型，是GBRG，GRBG，RBBG，GBBR的一种，其实也就是透镜的类型。出来的最原始的数据。
YUV2RGB.rar_matlab图像处理_yuv2rgb_yuv2rgb avi_yuv2rgb24_yuy2图片格式
09-24
标签中的`yuv2rgb`和`yuy2图片格式`进一步强调了这个主题的核心，即处理YUY2格式的YUV数据并将其转换为RGB格式。`matlab图像处理`则表明这是在MATLAB环境下完成的，MATLAB提供了强大的图像处理工具箱，使得这样的...
rgb2yuv.zip_RGB YUV图像_YUV_matlab RGB2YUV_rgb2yuv matlab_图像YUV
09-14
在实际应用中，用户可能需要根据具体需求调整转换过程，例如调整YUV的量化级别、处理不同的像素格式或适应不同的采样结构（如4:2:0、4:2:2或4:4:4）。通过理解RGB和YUV颜色模型的原理以及MATLAB提供的图像处理工具，...
444_rgb_rgb888图像格式_rgb_RGB888对比YUV444_YCbCr444转RGB888_ycbcr转rgb8
10-02
这里我们主要探讨的是RGB888图像格式与YUV444和YCbCr444颜色空间之间的转换，以及如何将YCbCr444转换为RGB888。 RGB888是一种常见的颜色表示方式，它使用三个通道（红、绿、蓝）来表示每个像素的颜色，每个通道用8...
RGB 转 YUV 格式：将 RGB 图像转换为 YUV，采用 4:2:2 色度采样-matlab开发
06-01
函数 rgb2yuv 将图像的 RGB 矩阵转换为图像的 YUV 格式矩阵。 如果 Plot Flag 等于 1，它会绘制图像。 它使用维基百科中提供的 RGB 转换公式。 它以 4:2:2 色度采样提供 YUV 格式例子file=('<图像文件路径>'); ...
数字图像处理学习（一）：灰度转换（RAW、RGB、YCrCb）
qq_40483920的博客
08-25 1万+
目录一、RAW、RGB和YCrCb1、RAW2、RGB3、YcrCb二、RGB转YCrCb1、计算公式2、计算过程（注意事项） 一、RAW、RGB和YCrCb 在数字图像处理领域，YCbCr是一种常见的图像格式，很多图像处理都是基于YCbCr，包括各种滤波、甚至图像卷积等。 1、RAW 在CMOS图像传感器中，以OV5640为例，其感光阵列如下图： 可以看到，感光阵列由红、绿、蓝三种感光点组成，B只识别蓝色光，R只识别红色光，Gb只识别绿色光，假如将这种每个感光像素点转换成数字信号后直接输出，就得到了RAW
图像格式-RAW、RGB、YUV
qq_43252507的博客
07-11 3217
图像格式
RAW，RGB，YUV简单理解
buffoonnnn的博客
03-14 709
RAW，RGB，YUV简单理解
RAW, YUV, RGB, JPEG梳理
火鸟火腿
11-08 1689
RAW格式: 从Sensor端最初获取的数字格式的数据, 又称为Bayer格式. 每个像素信息只有RGB中的某个颜色信息, 且每4个像素中有2个像素为G信息,1个R信息,1个B信息, 即GRBG格式; 2M像素Camera以RAW10格式(每个像素10bit)输出时,它的数据量为2M10bit=20Mbits/帧,20M30帧=600Mbps; RGB格式: RGB格式是由RAW数据插值计算后获取的、每个像素均包含了RGB三种颜色的信息。比如RGB888格式,一个像素 由8bit R...
一文读懂rawRGB、RGB和YUV数据格式与转换
热门推荐
SagacityLC的博客
01-14 2万+
rawRGB 图像采集的过程为：光照在成像物体被反射 -> 镜头汇聚 -> Sensor光电转换-> ADC转换为rawRGB 因为sensor上每个像素只采集特定颜色的光的强度，因此sensor每个像素只能为R或G或B，形成的数据就成为了rawRGB数据。 rawRGB数据是sensor的经过光电转换后通过ADC采样后直接输出数...
Camera raw 12bit 图获取及格式分析（干货）
xierong1的博客
10-15 2207
Camera 获取12bit raw 图及格式分析
利用STM32连接OV7670或OV2640摄像头模块进行图像采集，并通过MATLAB实现滤波
最新发布
03-17
<think>嗯，用户想知道如何使用STM32连接OV7670或OV2640摄像头模块完成图像采集，然后通过MATLAB对数据进行滤波处理。我需要先理清这两个模块的连接和配置步骤，再考虑图像采集和传输，最后是MATLAB的滤波处理部分。 首先，OV7670和OV2640都是常用的摄像头模块，但它们的接口和配置方式有所不同。OV7670通常使用SCCB接口（类似于I2C）进行配置，输出数据通过DCMI接口传输。而OV2640可能支持更高的分辨率，但配置可能更复杂。用户需要选择其中一种模块，或者分别说明两者的不同点。 接下来是STM32的连接部分。需要确定摄像头模块的引脚连接，比如电源、时钟、数据线、同步信号等。OV7670可能需要8位的数据总线，而OV2640可能支持更高的位宽。同时，STM32的DCMI接口和DMA设置是关键，确保能够高效地接收图像数据。 然后是图像采集的代码实现。STM32需要初始化摄像头模块的寄存器，配置DCMI和DMA，设置正确的中断处理函数来捕获帧。这里可能需要参考已有的驱动代码或库，比如HAL库中的DCMI例程。用户可能需要调整寄存器配置，比如图像分辨率、输出格式（RGB565或YUV）等。 数据传输到PC的方式，用户提到了MATLAB处理，所以需要将图像数据从STM32发送到计算机。常用的方法包括串口、USB CDC，或者通过WiFi模块。不过，OV7670的图像数据量较大，串口可能速度不够，会导致传输缓慢。因此可能需要使用更高速的接口，比如USB或网络模块，或者将数据存储在SD卡中再传输。 然后是MATLAB部分的滤波处理。用户需要将接收到的数据转换成图像矩阵，应用滤波算法，比如中值滤波、高斯滤波，或者更高级的如引导滤波（参考引用中的梯度域引导滤波）。可能需要处理RGB各通道，或者转换为灰度图像后再处理。 在回答中需要引用相关的资料，比如引用[1]提到的梯度域引导滤波的MATLAB代码，可能适用于图像滤波部分。引用[3]中的TCS3472颜色传感器驱动可能对RGB数据处理有帮助，但需要调整。引用[4]提到的开发环境配置可能对用户搭建STM32开发环境有用。 用户可能没有考虑到的问题包括图像数据传输的实时性、STM32的内存限制（特别是高分辨率图像）、以及滤波算法的计算复杂度。需要提醒用户注意这些潜在的问题，并提供优化建议，比如降低分辨率、使用高效的传输方式或简化滤波算法。 最后，生成相关问题时要围绕硬件连接、驱动开发、图像处理等方面，帮助用户深入理解可能遇到的挑战和解决方案。</think>### STM32摄像头模块图像采集与MATLAB滤波处理指南 #### 一、硬件连接与配置 1. **摄像头模块选择** - OV7670：支持VGA分辨率（$640 \times 480$），输出格式为RGB565/YUV，需SCCB接口配置[^3] - OV2640：支持$1600 \times 1200$分辨率，JPEG压缩输出，配置更复杂 2. **STM32硬件连接** ```c // OV7670典型引脚连接（以STM32F4为例） DCMI_VSYNC -> PA4 DCMI_HSYNC -> PA6 DCMI_PCLK -> PA6 DCMI_D0-D7 -> PE0-PE7 SCCB_SDA -> PB9 SCCB_SCL -> PB8 ``` - 需配置DCMI接口和DMA传输（推荐使用双缓冲） #### 二、STM32固件开发 1. **关键代码框架** ```c // DCMI初始化示例（HAL库） hdcmi.Instance = DCMI; hdcmi.Init.SynchroMode = DCMI_SYNCHRO_HARDWARE; hdcmi.Init.PCKPolarity = DCMI_PCKPOLARITY_RISING; hdcmi.Init.VSPolarity = DCMI_VSPOLARITY_HIGH; hdcmi.Init.HSPolarity = DCMI_HSPOLARITY_HIGH; HAL_DCMI_Init(&hdcmi); // 摄像头寄存器配置（OV7670示例） SCCB_Write(0x12, 0x80); // 复位寄存器 HAL_Delay(100); SCCB_Write(0x11, 0xC0); // 时钟分频 SCCB_Write(0x3A, 0x04); // 输出格式（RGB565） ``` 2. **图像传输方案** - **方案1**：通过USB CDC虚拟串口传输（最高1MBps） - **方案2**：使用WiFi模块（ESP8266/ESP32）传输JPEG - **方案3**：SD卡存储后批量传输[^4] #### 三、MATLAB滤波处理 1. **数据接收与转换** ```matlab % 串口接收示例 s = serialport('COM3', 115200); rawData = read(s, 320*240*2, 'uint8'); % RGB565格式 img = reshape(typecast(rawData, 'uint16'), 320, 240); ``` 2. **滤波算法实现** ```matlab % 梯度域引导滤波（参考论文实现[^1]） guided_image = im2double(rgb2gray(img)); filtered_img = guidedfilter(guided_image, noisy_image, 8, 0.01); % 卡尔曼滤波（适用于时序图像[^2]） kalman_filter = vision.KalmanFilter('StateTransitionModel', 1, ... 'MeasurementModel', 1, 'ProcessNoise', 0.01, 'MeasurementNoise', 0.1); ``` #### 四、性能优化建议 1. 使用OV2640的JPEG模式可减少$80\%$数据量 2. 在STM32端实现预处理（如中值滤波） ```c #define WINDOW_SIZE 3 void median_filter(uint8_t *src, uint8_t *dst, int width, int height) { // 滑动窗口实现 } ``` 3. 采用DMA双缓冲机制避免图像撕裂
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值