Xavier NX 使用OpenCV+GStreamer实现硬解码

已于 2023-10-25 14:08:17 修改
阅读量7.8k 收藏 58
点赞数 1
分类专栏： 编解码 ubuntu 文章标签： opencv python 人工智能 linux 视频编解码
于 2022-07-22 13:47:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiexijihe945/article/details/125928135
版权

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

前言

最近在NX上做一个项目，需要把rtsp流出来的图片送入AI推理，结果发现OpenCV的VideoCapture使用的是软解码大量消耗了cpu的资源影响了实际效果。我只能把解码这部分送到硬件解码器去处理，分摊掉cpu的压力，接下来我就具体说说怎么处理。由于我手上用的是NX，所以本教程是基于Xavier NX的，不排除其他Jetson产品也能用，这个需要大家自行测试。

一、NVCODEC是什么？

这个东西我在其他文章里已经介绍很多了，这里就不过多赘述了，一语概括就是Nvidia提供的硬件编解码，它是一个专门的硬件元器件，在处理视频上面很有优势，但是不代表不消耗任何的cpu或者内存资源。
使用硬解码的方式有很多种，这里我介绍OpenCV+GStreamer组合的方式，其他方法请自行研究。

二、编译OpenCV

1.准备环境

你首先需要一台刷好机的NX，而且在刷机的时候一定要勾选CUDA相关的选项，因为这

了解本专栏 订阅专栏 解锁全文 超级会员免费看
洛克希德马丁
关注
专栏目录
订阅专栏
Xavier NX实现硬解码H264&H265
jiexijihe945的博客
07-22 3420
最近在做一个项目，使用opencv的VideoCapture拉流并把帧送进模型推理，结果发现VideoCapture本身使用的是cpu的软解码，占用了大量的资源，后来就去研究使用设备本身的硬解码资源去分摊cpu的压力。总体来讲是比较简单的，H264和H265两兄弟也基本上能满足日常绝大多数场景的需求了。httpshttpshttps。...
视频GPU硬解码方案对比
alex1801
09-14 6913
声明：文章仅作知识整理、分享，如有侵权请联系作者删除博文，谢谢！ 实时视频处理中,紧靠CPU进行视频解码速度慢/占用CPU资源较多,导致整个系统处理效率不高，解码成为系统的瓶颈。需要进行GPU解码高清视频，降低解码所占用CPU资源，加速解码过程。 以下来自网络测试结果：https://www.cnblogs.com/ahfuzhang/p/10855762.html 视频大小：1168856 字节 画面尺寸：480*848 帧数：275 opencv + cuvid + tesla P4, 解码性
推荐开源项目：Gstreamer + OpenCV 深度整合应用
gitblog_00009的博客
06-20 382
推荐开源项目：Gstreamer + OpenCV 深度整合应用 项目地址:https://gitcode.com/wzyy2/gstreamer-opencv 1、项目介绍 该项目是一个基于Gstreamer和OpenCV的演示应用程序，特别优化了 ZERO-COPY 技术，并针对RockChip平台进行了适配。其设计目的是提供一个灵活且高效的视频处理框架，允许开发者通过修改pipelines....
OpenCV是否支持GStreamer
最新发布
qq_43298381的博客
08-23 342
使用GStreamer的URL（如gst-launch命令中使用的URL）来捕获视频测试OpenCV是否支持GStreamer。
边缘计算【智能+安全检测】系列教程--使用OpenCV+GStreamer实现真正的硬解码，完全消除马赛克
Starry-SkyJing的博客
04-14 1656
通过现有博客的GStreamer的解码方式解码，大多情况应该存在上图马赛克的问题，请勿紧张,其实上述url并没有调用硬件解码，后面有调用硬件解码的ULR，我们来在接下来的介绍中释获。通过RTSP协议连接海康威视摄像头将图片送入AI推理，发现OpenCV的VideoCapture使用的是软解码大量消耗了cpu的资源，并无法做到实时数据处理存在5秒钟的延时。只能把解码这部分送到硬件解码器去处理分摊掉cpu的压力，
jetson nx 使用opencv和gstreamer 硬解码
weixin_NineDays66
08-09 2289
gstreamer opencv 硬解码
opencv闲篇（基于opencv的gpu硬解码）
ANDY
01-02 7193
opencv2.4.9的lib链接库 realse opencv_calib3d249.lib opencv_contrib249.lib opencv_core249.lib opencv_features2d249.lib opencv_flann249.lib opencv_gpu249.lib opencv_highgui249.lib opencv_imgproc249.lib ...
OpenCV4.7.0、FFmpeg5.1 Nvidia GPU视频硬解码
洪流之源
02-10 7471
OpenCV4.7.0、FFmpeg5.1 2080TI视频硬解码
opencv+nvcodec实现视频硬解码
jiexijihe945的博客
06-01 8745
最近遇到一个新项目，AI推理在上，为了方便和节省成本的考虑决定研究下模块。根据官网的说法显卡具有独立的和模块，所以理论上和是独立互不干涉的。以前的项目都只是把显卡当成推理工具，没有将它的功能利用起来，本身也是一种浪费。事实真的有这么丝滑吗？看到这里，如果你真的觉得是白叫的那就真的是了，事实究竟如何，请听我娓娓道来。NVCODEC全称是 NVIDIA VIDEO CODEC，是NVIDIA为绝大多数显卡配置的硬件编解码单元。不一定是所有显卡都有，一般来讲越新的显卡硬件编解码就越强，支持的格式也就越新。
算法开发：jetson agx xavier 编译cuda版本opencv硬解码视频
suanfaxiazai的博客
08-03 495
agx xavier opencv视频硬解码 说明：刷机后 jetpack=4.6.4 cuda=10.2.300 cudnn=8.2.1 tensorrt=8.2.1。
qml+Gstreamer实现网络摄像头播放（硬解码）
12-17
网上大多都是利用QTWidget去调用Qtmultimedia模块实现硬解码。该程序利用qml调用multimedia模块，实现硬解码和播放网络摄像头程序（传输协议为rtsp），并写了一个简单的界面，供大家参考
Gstreamer硬解码rtsp流 和 读mipi csi摄像头源码
12-27
Gstreamer硬解码rtsp流 和 读mipi csi摄像头源码
NVIDIA jetson nx编解码使用大全.docx
08-29
硬解码相比软件解码（软解码），在处理高清视频时更节省资源，能实现更低的延迟和更高的稳定性能。 Gstreamer是构建在NVIDIA Jetson系列板卡上进行多媒体处理的关键工具。这是一个开源的多媒体框架，包含了库和插件...
【opencv-python Gstreamer支持】Jetson Agx Orin手动编译opencv4.5.1加入gstreamer库，实现opencv简洁驱动GMSL2 IMX390相机
Black__Jacket的博客
02-17 1770
【代码】【opencv-python Gstreamer支持】Jetson Agx Xavier Orin手动编译opencv4.5.1加入gstreamer库，实现opencv简洁化推流。
opencv gstreamer
power的专栏
12-03 2861
https://www.ardusub.com/developers/opencv.html Top side computer To capture video stream with the python script and QGC at same time, it's necessary to modifygstreamer options, changing! udpsink h...
Gstreamer硬解码海康rtsp流 转cvMat BGR帧 Jeston
qq_42711516的博客
04-02 7760
硬件平台：研华mic-710ailx 有基于Jeston的gpu硬件 阅读本博客需要有对gstreamer基础知识的了解，这里给出学习链接： GStreamer系列 - 基本介绍 - John.Leng - 博客园 1.可行性验证 1.1屏幕输出 使用gst-lauch-1.0验证rtsp硬解码管道连接和输出帧是否正常： gst-launch-1.0 rtspsrc location=你的rtsp地址 ！ queue ! rtph264depay ! h264parse ! queue ! om
Gstreamer 硬解码Rtsp流及代码实现
weixin_46935110的博客
09-05 6543
Gstreamer 硬解码Rtsp流及代码实现
opencv rtsp 硬件解码
qianbo042311的博客
07-30 3118
硬件解码的方案有太多种，如果使用ffmpeg硬件解码是最方便的，不方便的是把解码过后的GPU 拉到 CPU 上，再使用opencv的Mat 从cpu 上上载到gpu上，是不是多了两个过程，应该是直接从GPU mat 直接去处理， 最后一步再从GPU mat 上下载到cpu，render显示。GPU 硬件解码是nv12 格式，我们为了显示和cpu使用直接转成了RGB或者BGR， 使用opencv再映射封装，最后又上载到cuda，这个过程很耗时间，而且不是必要的。
xavier nx 安装opencv4.5.4
07-22
### 回答1： 安装OpenCV 4.5.4在NVIDIA的Xavier NX上可以按照以下步骤进行操作： 1. 准备工作： - 在Xavier NX上安装和配置好正确的操作系统和驱动程序。 - 确保已连接好互联网。 2. 安装依赖库： 在终端窗口中执行以下命令： ``` sudo apt-get update sudo apt-get upgrade sudo apt-get install build-essential cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-dev sudo apt-get install python3-dev python3-numpy libtbb2 libtbb-dev libjpeg-dev libpng-dev libtiff-dev libdc1394-22-dev sudo apt-get install libv4l-dev v4l-utils qv4l2 v4l2ucp sudo apt-get install libgstreamer1.0-dev libgstreamer-plugins-base1.0-dev ``` 等待依赖库安装完成。 3. 下载并编译OpenCV： 在终端窗口中执行以下命令： ``` git clone https://github.com/opencv/opencv.git cd opencv git checkout 4.5.4 mkdir build cd build cmake -DCMAKE_BUILD_TYPE=Release -DCMAKE_INSTALL_PREFIX=/usr/local .. make -j4 // “-j4”是指并行编译，可以根据需要进行调整 sudo make install ``` 上述过程可能需要一些时间，请耐心等待。 4. 验证安装： 在终端窗口中执行以下命令，以验证OpenCV是否安装成功： ``` pkg-config --modversion opencv4 ``` 如果成功安装，将显示OpenCV的版本号。 以上就是在Xavier NX上安装OpenCV 4.5.4的步骤。请根据实际情况进行操作，并根据需要进行任何额外的配置或调整。 ### 回答2： 要在Xavier NX上安装OpenCV 4.5.4，可以按照以下步骤进行操作： 1. 首先，确保已经将Xavier NX设备与Internet连接，并且有可用的终端界面。 2. 打开终端，并输入以下命令以确保操作系统已更新到最新版本： ``` sudo apt update sudo apt upgrade ``` 3. 安装必要的软件包和依赖项： ``` sudo apt install build-essential cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-dev sudo apt install python3-dev python3-numpy libtbb2 libtbb-dev libjpeg-dev libpng-dev libtiff-dev libjasper-dev libdc1394-22-dev ``` 4. 接下来，通过以下命令从GitHub克隆OpenCV的源代码： ``` git clone --branch 4.5.4 https://github.com/opencv/opencv.git ``` 5. 进入克隆的OpenCV目录： ``` cd opencv ``` 6. 创建并进入一个build目录： ``` mkdir build cd build ``` 7. 使用CMake生成Makefile： ``` cmake .. ``` 8. 开始编译和安装OpenCV： ``` make -j8 # 使用8个线程进行编译，根据自己的需求进行调整 sudo make install ``` 9. 编译和安装后，使用以下命令添加OpenCV库到系统动态链接库中： ``` sudo ldconfig ``` 10. 完成安装后，可以验证OpenCV是否正确安装。在终端输入以下命令： ``` pkg-config --modversion opencv4 ``` 如果正确安装，将显示OpenCV的版本号。 ### 回答3： 安装OpenCV 4.5.4 可以通过以下步骤完成： 1. 首先，确保你的 Xavier NX 已经连接到互联网，并且具备足够的存储空间。 2. 打开终端，在命令行中输入以下命令，安装所需的依赖项： ``` sudo apt-get update sudo apt-get install build-essential cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-dev ``` 3. 从 OpenCV 官方存储库中下载源代码。进入一个你希望存储源代码的目录，并在终端中使用以下命令进行克隆： ``` git clone https://github.com/opencv/opencv.git ``` 4. 进入刚刚克隆的 OpenCV 目录，并切换到所需的版本（这里是 4.5.4）： ``` cd opencv git checkout 4.5.4 ``` 5. 创建一个名为“build”的文件夹，在终端中进入该文件夹： ``` mkdir build cd build ``` 6. 使用以下命令运行 CMake，配置你的构建选项： ``` cmake -D CMAKE_BUILD_TYPE=Release -D CMAKE_INSTALL_PREFIX=/usr/local .. ``` 7. 使用以下命令进行编译和安装： ``` make -j$(nproc) sudo make install ``` 8. 安装完成后，你可以使用以下命令验证 OpenCV 是否成功安装： ``` pkg-config --modversion opencv4 ``` 以上就是在 Xavier NX 上安装 OpenCV 4.5.4 的步骤。请注意，安装过程可能需要一些时间，并且可能会因网络连接速度等因素而有所不同。
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值