嵌入式音视频开发学习（VI模块、RGA模块）

已于 2024-08-05 08:53:52 修改
阅读量1.9k 收藏 38
点赞数 18
文章标签： 音视频
于 2024-08-03 15:01:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_66324986/article/details/140890628
版权

嵌入式音视频开发

      • YUV原理
        • 1.什么是YUV格式
        • 2.YUV的优势
        • 3.YUV采样格式
        • 4.YUV存储格式
      • VI模块
        • 1.什么是VI模块
        • 2.VI模块重要参数
          • **VI视频节点**
          • **VI_CHN_BUF_TYPE**
        • 3.VI模块初始化API
          • 1.RK_MPI_VI_SetChnAttr
          • 2.RK_MPI_VI_EnableChn
      • 多线程获取VI模块的YUV数据
        • 初始化VI模块
        • 启动VI模块
        • 使用多线程的方式去采集
      • RGA模块
        • 1.RGA结构体的定义
        • 2.RGA常用API
        • 3.多线程获取RGA模块数据

​ 嵌入式音视频指的是通过采集摄像头、麦克风等数据进行智能化、压缩化操作，从而达到商业化的效果。生活中常见的产品有很多：人脸考勤机、车载系统、移动直播设备、无人机等等。

​ 常见的嵌入式音视频的芯片：瑞芯微RV1126/RK3399/RK3586、海思Hi3519AV100/Hi3559AV100、英伟达TX1/TX2芯片等等。三款芯片是目前市场上流行最火的音视频芯片，广泛运用在人工智能识别、音视频编解码、模型训练等高端领域。

​ RV1126是瑞芯微最新一代的智能视觉芯片。RV1126芯片主要支持4K 30fps、H264/H265视频编解码功能，并支持ISP2.0、HDR、麦克风阵列等最新技术。所以目前绝大部分公司都会用RV1126的芯片进行音视频项目的开发，学会了RV1126开发对音视频开发基本就有比较全的了解。

​ RV1126应用开发手册：

​ 应用手册在开发中发挥着至关重要的作用，很多不懂的知识点可以在手册找到解决方法。着重学习以下内容：VI模块、RGA模块、VENC模块、VDEC模块、VO模块、AI模块、AENC模块、AO模块

YUV原理

1.什么是YUV格式

​ YUV是一种常见的视频像素格式，经常用在视频编解码上面，YUV分别由Y、U和V分量组成。Y分量指的是亮度分量，也就是经常说的灰阶值，相当于一副灰色的图像。而U分量和V分量表示的是色度分量， 它的作用就是用于影像的色彩以及饱和度，常用于指定像素的颜色，U分量是图像蓝色部分去掉亮度Y，V分量是图像红色部分去掉Y。换言之如果一副图像只有Y分量，没有UV分量就相当于看黑白电视一样没有颜色，所以现在彩电都引用了YUV像素格式。

2.YUV的优势

​ YUV和RGB是目前最流行的两套颜色格式，但是在音视频编解码和网络传输的时候基本都会用YUV，而非RGB。这是因为YUV在网络传输时只需要占用很少的带宽进行传输，这能大大节约存储空间、并且提高传输效率。比如YUV420P格式进行采样能够比RGB节约超过1/2存储空间

3.YUV采样格式

​ 现在主流的YUV采样方式一般分三种：YUV444、YUV422、YUV420。

​ YUV444采样，相当于Y、U、V三个分量采用相同的采样比例进行采样。所以用YUV444采样生成的图像，YUV三个分量的信息是完整的，都是8bit，也就是一个字节。这里的YUV444顾名思义就是4个Y分量、4个U分量、4个V分量。Y分量大小：w * h；U分量大小：w * h；V分量大小：w * h。所以，我们用YUV444格式去采样一个1920 * 1080的图像的时候，得到的大小等于：**(1920 * 1080 * 8 + 1920 * 1080 * 8 + 1920 * 1080 * 8)/8/1024/1024 ~= 5.94M****。**从计算公式可以看出，YUV444每一帧图像大小和RGB差不多，所以在真正开发中很少会用到。

​ YUV422采样，相当于U、V分量是以Y分量采样的一半进行采样，Y分量和UV分量按照2:1的比例进行采样(也可以理解为两个Y分量对应一个UV分量)。就比方说，若一个水平方向有8个像素点，那么采样了8个Y分量，那么UV分量只有4个。这里采样用的是4个Y分量、2个U分量、2个V分量进行采样。Y分量大小：w * h；U分量：w * h /2；V分量：w * h /2。所以，用YUV422采样的大小是：(1920 * 1080 * 8 + (1920 * 1080)/2 * 8 + (1920 * 1080)/2 * 8)/8/1024/1024 ~= 3.96M****。

​ YUV420采样，相当于每一行扫描的时候只扫描一种色度分量(U分量或者V分量)，和Y分量按照2:1的方式进行采样(也可以理解为四个Y分量对应一个UV分量)。就比方说，在第一行扫描的时候，YV分量按照2:1的方式进行采样，那么YU分量也是用2:1的方式采样，所以对于每个色度分量来说，它的水平方向和垂直方向的采样比都是2:1。这里采用的是4个Y分量、2个U分量、0个V分量采集，而下一行的则是用4个Y分量、0个U分量、2个V分量采样。所以，Y分量大小：w * h；U分量：w * h /4; V分量：w * h/4。所以用YUV420采集一个1920 * 1080的图像大小：(1920 * 1080 * 8 + (1920 * 1080)/4 * 8 + (1920 * 1080)/4 * 8)/8/1024/1024 ~=2.97M **。**可以看到用YUV420采样的图像比YUV444和YUV422都节省空间，因此它是目前最主流的采样格式。

4.YUV存储格式

​ YUV存储一般分为两大类，一种是 Planar，另一种是Packed

​ Planar指平面格式：它的特点是先连续存储所有的Y像素点，然后再存储所有的U像素点，最后存储所有的V像素点。即它分三个数组存储三个分量，比如data0[]存储所有Y分量、data1[]存储所有U分量、data2[]存储所有V分量。

​ Packed指的是打包格式：它的特点是所有像素点的YUV分量都是连续存储，并且所有的数据都存储在data0[]里面。

YUV420采样格式，就有这几种打包格式：NV12、NV21、YV12、YU12

​ NV12（常见）：这种方式使用的是平面格式来存储数据，换言之就是先存储Y分量、 然后UV交替存储。

Y0 Y1 Y2 Y3 Y4 Y5 Y6 Y7 U0 V0…

​ NV21：这种方式使用的是平面格式来存储数据，换言之就是先存储Y分量、 然后VU交替存储。

Y0 Y1 Y2 Y3 Y4 Y5 Y6 Y7 V0 U0…

​ YV12：这种方式使用的是平面格式来存储数据，换言之就是先存储Y分量、 然后存V分量、 最后存U分量，

Y0 … Y7 V0 … V7 U0…

​ YU12：这种方式使用的是平面格式来存储数据，换言之就是先存储Y分量、 然后存U分量、 最后存V分量，

Y0 … Y7 U0 … U7 V0…

YUV422

最低0.47元/天 解锁文章
Les maths
关注
一个强大的音视频编解码库-rkmedia的应用
Bruce.yang的嵌入式之旅
07-22 2573
前面写了对RV1109开发官方资料的补充文章：瑞芯微RV1109配置7寸电容触摸屏的方向修改笔记如何添加APP到Buildroot里(以瑞芯微rv1126为例)瑞芯微RV1109配置GPI...
嵌入式音视频开发学习（视频编码原理及RV1126 VENC模块）
m0_66324986的博客
08-05 1742
H265的优势在于超高的压缩比(压缩比高达1:200)编码超高清的分辨率，如：4K分辨率(3840 * 2160)、8K分辨率(7680 * 4320)，一般只有在编码超高清分辨率的时候才会用到H265编码，普通的分辨率如：1920 * 1080以下的分辨率只需要H264即可(这是由于H265虽然压缩比非常高，但是它的算法复杂程度也远超H264，对于一般播放器来说CPU运算也过于复杂)。因为在网络传输的时候，网络带宽有限，若此时网络传输的时候还用原始数据进行传输的时候，则会对网络带宽造成极大的负担。
嵌入式音视频疑惑汇总（持续更新）
天天的博客
05-26 3572
小小的脑袋里，大大的疑问，面向chatGPT学习。
一文彻底搞懂大模型 - RAG（检索、增强、生成）
最新发布
Android23333的博客
03-01 1082
RAG（Retrieval-Augmented Generation，检索增强生成） 是一种结合了信息检索技术与语言生成模型的人工智能技术。该技术通过从外部知识库中检索相关信息，并将其作为提示（Prompt）输入给大型语言模型（LLMs），以增强模型处理知识密集型任务的能力，如问答、文本摘要、内容生成等。RAG模型由Facebook AI Research（FAIR）团队于2020年首次提出，并迅速成为大模型应用中的热门方案。
嵌入式音视频开发(音频模块学习)
m0_66324986的博客
08-10 1630
​ RV1126的AI模块指的是音频输入模块，它的作用是通过内置芯片读取麦克风等音频的模拟信号，然后把音频模拟信号转换成数字信号。在RV1126里面，音频AI模块是所有音频输入的入口。音频输入设备(音频模拟信号)->VI模块(采样、量化、编码)->PCM音频数字信号。
嵌入式音频开发入门
11-27
最近一段时间在嵌入式板子中基于alsa进行音频编程，实现了音频的采集和播放。音效的处理利用了开源的webrtc工程，交叉编译webrtc的降噪库得到库文件，音频对讲程序使用该库进行音效提升。对这一段工作的总结形成了该ppt文档，文档同时也包括嵌入式交叉编译环境的搭建、利用nfs实现挂载、利用gdbserver进行远程调试、虚拟机文件资源共享等。
嵌入式、音视频、网络技术
CXZJZ的专栏
12-31 1871
近几年随着嵌入式技术的蓬勃发展，出现了基于嵌入式视频服务器技术的远程网络视频监控设备。嵌入式视频服务器的主要工作原理是：模拟视频信号经A/D后，采用MPEG-2或MPEG-4协议压缩，然后将压缩后的视频数据打包，传送到网络上。用户可以直接用浏览器或者客户端专用软件观看视频服务器上的图像，授权用户还可以控制摄像机云台镜头的动作或对该嵌入式系统进行配置。压缩部分可以采用专用的硬件芯片或由嵌入式CPU进
ASP，双非渣本Android四年磨一剑
wa2231a的博客
01-10 463
<asp:TextBoxID="TextBox1"datasourceid=“SqlDataSource1” runat="server"Text=’<%#Eval(“book_id”) %>’></asp:TextBox> </asp:templatefield> 此段代码放置在和里，作用通过建立一个模版，在GridView控件中添加一列，此列中包含一个文本框，将文本框中绑定到book_id列。 5、 参照PPT中的内容，添加gridview3.
嵌入式音视频进阶学习(建议收藏！)
Dada_ping的博客
04-13 891
前言：大家好，今天花点时间，整理一下最近看的一些音视频英文文档资料和相关的一些音视频书籍，下面分享的资料，仅是个人的一个学习，仅供参考！rtp学习：在这里给大家汇总的资料，主要是rfc英文文档资料，因为在实际开发过程中，有很多技术细节在rfc文档里面都有详细的描述，就是要稍微耐心花点时间看：1、实现rtp封装h264的说明参考的是rfc6184:https://www.rfc-editor.org...
rv1126/rk3588摄像头捕获图像色彩异常，rv1126 v4l2色彩异常，rv1126偏绿色
muyuyuzhong的专栏
10-29 1359
RKMedia提供了一种媒体处理方案，可支持应用软件快速开发。RKMedia在各模块基础API上做进一步封装，简化了应用开发难度。
mpp.zip_TDE API_mpp_rtsp hi3516_rtsp hi3516_rtsp linux
07-15
MPP（Media Processing Platform）是海思半导体推出的一种多媒体处理平台，用于处理音视频数据，常见于安防设备如DVR（Digital Video Recorder）中。它提供了一整套软硬件解决方案，包括编码、解码、图像处理、流...
嵌入式音频视频混合为mp4(mp4v2+faac 海思3519运行成功)
02-01
mp4v2和faac混合为mp4, 在Hi3519板运行成功。生成的joseph_mp4_test运行时需要av_file中的资源(this is Joseph mux sample)
Linux rga说明文档.pdf
02-11
Rockchip 提供的librga库主要用于对常用图形处理（裁剪、格式转换、图片叠、填色等）做硬件加速。本文为librga库的说明文档，提供了api详细介绍。
rk平台一个头两个流, 即同一个vi通道, 接两个不同的下游通道,比如rga
zunly的博客
02-15 759
rkmedia, 同一个vi, 多个rga
以非常规思维去做一个嵌入式音视频开发项目！
Dada_ping的博客
11-25 1163
前言：大家好，在上周的文章里面，给大家介绍了一个音视频项目，本周继续来分享音视频项目，之前说过，如果你不知道做什么功能开发嘛，因为接触的少；我突然想到，可以去参考市面上已经做出来的音视频产品，去看看他们有什么功能，我觉得这样，比你自己去网上找一些乱大街的项目好多了，当然前提做这些市面上音视频产品的功能，你需要一定的基础，这个是大前提，但是你能够通过自己摸索做出这些功能出来，对自己实践是非常大的提升...
05 嵌入式中音视频同步要注意的知识点：
qq582880551的博客
05-29 389
======== 音视频同步的全部知识： 1、既然你都开始关注音视频同步了，那么假设你有了基础的背景知识，比如：有计算机知识；编程理论（知道中断、缓存、状态机、模块）；会一门编程语言；知道MPEG ISO协议；知道mp4、mkv、ts等封装格式；知道h264、hevc、mpeg2、mpeg4等视频流格式；知道mp3、aac等音频流格式；知道RGB、YUV、YCrCb、WAV等显示和播放格式；知道显示驱动音频驱动；知道屏幕刷新率vsync。不知道这些的话就需要在实操时遇到了就去搜索学习相关知识。 2、在解
RGA模块的讲解
qq_54089476的博客
09-11 578
stImgIn是视频输入的结构体，stImgOut是处理后的视频结构体。由于网页显示的图像是RGB的彩色图像，所以我们需要使用RGA模块把NV12的灰度图像转换成RGB的彩色图像。)，最后把RGA的数据赋值到共享内存里面，代码是(共享内存的内容下节课讲解)。视频输入的分辨率虚宽，虚宽的数值跟分辨率宽度数值一致都是1920。视频输入的分辨率虚高，虚高的数值跟分辨率高度数值一致都是1080。视频输出的分辨率虚宽，虚宽的数值跟分辨率宽度数值一致都是1920。上面是RGA模块初始化的代码，这里使用的结构体是。
RK3588平台开发系列讲解（视频篇）RKMedia的RGA模块
内核笔记
02-01 1932
📢RKMedia是RK提供的一种多媒体处理方案，可实现音视频捕获、音视频输出、音视频编解码等功能。
上述代码哪里加入RGA模块
11-01
在上述论文中，并没有提到具体的“RGA（Recurrent Gate Attention）模块”。该论文主要讨论的是如何利用知识蒸馏生成用于黑盒攻击的替代模型。如果你希望将RGA模块引入到这个框架中，可以考虑以下步骤： ### 1. **理解RGA模块的功能** - **RGA模块**通常用于增强模型的注意力机制，特别是在序列数据或图像中的局部特征提取上。它通过门控机制来动态调整不同部分的重要性。 ### 2. **确定RGA模块的插入位置** - **教师模型**：可以在教师模型中加入RGA模块，以提高其性能和鲁棒性。 - **学生模型**：也可以在学生模型中加入RGA模块，以增强其对复杂任务的学习能力。 ### 3. **具体实现步骤** #### 3.1. 在教师模型中加入RGA模块 假设你在使用的是PyTorch框架，可以在教师模型的定义中加入RGA模块。例如： ```python import torch import torch.nn as nn class TeacherModel(nn.Module): def __init__(self): super(TeacherModel, self).__init__() # 定义基础卷积层 self.conv_layers = nn.Sequential( nn.Conv2d(in_channels=3, out_channels=64, kernel_size=3, padding=1), nn.ReLU(), nn.MaxPool2d(kernel_size=2, stride=2), # 其他卷积层... ) # 加入RGA模块 self.rga_module = RGA_Module(channels=64) # 全连接层 self.fc_layers = nn.Sequential( nn.Linear(64 * 16 * 16, 128), nn.ReLU(), nn.Linear(128, num_classes) ) def forward(self, x): x = self.conv_layers(x) x = self.rga_module(x) x = x.view(x.size(0), -1) x = self.fc_layers(x) return x ``` #### 3.2. 在学生模型中加入RGA模块 类似地，你可以在学生模型中也加入RGA模块： ```python class StudentModel(nn.Module): def __init__(self): super(StudentModel, self).__init__() # 定义基础卷积层 self.conv_layers = nn.Sequential( nn.Conv2d(in_channels=3, out_channels=32, kernel_size=3, padding=1), nn.ReLU(), nn.MaxPool2d(kernel_size=2, stride=2), # 其他卷积层... ) # 加入RGA模块 self.rga_module = RGA_Module(channels=32) # 全连接层 self.fc_layers = nn.Sequential( nn.Linear(32 * 16 * 16, 64), nn.ReLU(), nn.Linear(64, num_classes) ) def forward(self, x): x = self.conv_layers(x) x = self.rga_module(x) x = x.view(x.size(0), -1) x = self.fc_layers(x) return x ``` ### 4. **训练过程** - **知识蒸馏**：在训练过程中，使用教师模型的输出作为软标签来指导学生模型的学习。你可以参考论文中的公式和方法来进行知识蒸馏。 ### 5. **评估** - **评估指标**：使用攻击成功率（ASR）等指标来评估加入RGA模块后的模型性能。 ### 6. **注意事项** - **超参数调优**：RGA模块的引入可能会增加模型的复杂度，需要适当调整学习率、批量大小等超参数。 - **计算资源**：RGA模块可能增加计算量，确保有足够的计算资源进行训练和测试。 通过以上步骤，你可以在现有的知识蒸馏框架中加入RGA模块，从而提升模型的性能和鲁棒性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值