NXP i.MX 8M Mini视频开发案例分享 (上）

本文主要介绍i.MX 8M Mini的视频开发案例，包含基于GStreamer的视频采集、编解码、算法处理、显示以及存储案例，GigE工业相机测试说明，H.265视频硬件解码功能演示说明等。

注：本案例评估版采用的是创龙科技TLIMX8-EVM，它是基于NXP i.MX 8M Mini的四核ARM Cortex-A53 + 单核ARM Cortex-M4异构多核处理器设计的高性能评估板，

由核心板和评估底板组成。ARM Cortex-A53(64-bit)主处理单元主频高达1.6GHz，ARM Cortex-M4实时处理单元主频高达400MHz。处理器采用14nm最新工艺，支持1080P60 H.264视频硬件编解码、1080P60 H.265视频硬件解码、GPU图形加速器。核心板经过专业的PCB Layout和高低温测试验证，稳定可靠，可满足各种工业应用环境。正面外观如下图：

评估板文件系统默认已支持GStreamer库，可执行如下命令查看GStreamer库使用说明。

Target# gst-inspect-1.0 -h

图 1

GStreamer是用来构建流媒体应用的开源多媒体框架，其目标是要简化音视频应用程序的开发，目前可被用于处理MP3、Ogg、MPEG1、MPEG2、AVI、Quicktime等多种格式的多媒体数据。GStreamer开发参考链接：GStreamer。

案例适用的模块如下表：

表 1

案例名称	适用模块
gst_mjpeg_dec_cv_edge	中惠ZH5640-MIC-001 （USB OV5640摄像头）
gst_rtsp_dec_display	海康威视DS-IPC-B12HV2-IA （网络摄像头）
gige_capture	Basler acA720-290gm （GigE工业相机）

1.gst_mjpeg_dec_cv_edge案例

1.1    案例说明

本案例使用GStreamer API通过ARM Cotrex-A53从USB摄像头获取MJPEG格式视频流并进行软件解码，然后使用OpenCV对图像进行Sobel（边缘检测）算法处理，再将经过处理的图像在显示屏中实时显示。

程序工作流程框图如下所示：

图 2

本案例使用的OpenCV版本为4.4.0，OpenCV开发参考文档：https://docs.opencv.org/4.4.0。

1.2    案例测试

请按照下图进行硬件连接，将USB OV5640摄像头（中惠ZH5640-MIC-001）连接至评估板USB2 HOST接口，将HDMI显示屏连接至评估板HDMI OUT接口。

 

图 3

开发案例位于产品资料“4-软件资料\Demo\video-demos\”目录下，将案例bin目录下的gst_mjpeg_dec_cv_edge文件拷贝至评估板文件系统中。评估板上电并进入文件系统后，可执行如下命令查询摄像头的帧率、分辨率、设备节点等参数。

Target# gst-device-monitor-1.0

 

图 4

在gst_mjpeg_dec_cv_edge文件所在路径下，执行如下命令查询gst_mjpeg_dec_cv_edge程序参数说明，具体如下表。