Jetson视频编码

最新推荐文章于 2024-05-30 16:25:21 发布
最新推荐文章于 2024-05-30 16:25:21 发布
阅读量667 收藏 24
点赞数 10
文章标签： 音视频
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43147845/article/details/136914320
版权

学习Jetson视频编码之前，先看以下文章：

v4l2采集视频

v4l2视频解码

Jetson视频解码

        本文对Jetpack 5.0.2的03_video_cuda_enc编码流程进行详细介绍，代码路径：/usr/src/jetson_multimedia_api/samples/03_video_cuda_enc/。之前的文章介绍了Jetson视频解码，地址：Jetson视频解码 编码和解码除了具体定义不一样，过程基本相似。同样理解了03_video_cuda_enc编码流程，samples中的其他编码demo就都理解了，如下图所示，为Jetson视频编码流程(03_video_cuda_enc)：

        下面对编码流程进行详细介绍：

1、打开编码器

ctx.enc = NvVideoEncoder::createVideoEncoder("enc0");

        打开编码器实际就是用open()函数打开编码设备，类似于open()打开/dev/video0。

2、设置输出缓冲区

ctx.enc->setCapturePlaneFormat(ctx.encoder_pixfmt, ctx.width,ctx.height, 2 * 1024 * 1024);

        设置输出缓冲区格式，输出缓冲区类型对应v4l2的type就是V4L2_BUF_TYPE_VIDEO_CAPTURE_MPLANE，encoder_pixfmt->H264:V4L2_PIX_FMT_H264;H265:V4L2_PIX_FMT_H265。

3、设置输入缓冲区

ctx.enc->setOutputPlaneFormat(V4L2_PIX_FMT_YUV420M, ctx.width, ctx.height)

        设置输入缓冲区格式，输出缓冲区类型对应v4l2的type就是V4L2_BUF_TYPE_VIDEO_OUTPUT_MPLANE，输入数据格式为V4L2_PIX_FMT_YUV420M，就是YUV420P。

4、设置H264/H265编码参数

ret = ctx.enc->setBitrate(ctx.bitrate);
TEST_ERROR(ret < 0, "Could not set bitrate", cleanup);

if (ctx.encoder_pixfmt == V4L2_PIX_FMT_H264)
{
	ret = ctx.enc->setProfile(V4L2_MPEG_VIDEO_H264_PROFILE_HIGH);
}
else
{
	ret = ctx.enc->setProfile(V4L2_MPEG_VIDEO_H265_PROFILE_MAIN);
}
TEST_ERROR(ret < 0, "Could not set encoder profile", cleanup);

if (ctx.encoder_pixfmt == V4L2_PIX_FMT_H264)
{
	ret = ctx.enc->setLevel(V4L2_MPEG_VIDEO_H264_LEVEL_5_0);
	TEST_ERROR(ret < 0, "Could not set encoder level", cleanup);
}

ret = ctx.enc->setFrameRate(ctx.fps_n, ctx.fps_d);
TEST_ERROR(ret < 0, "Could not set framerate", cleanup);

        设置H264/H265编码格式，码率、Profile、Level、帧率等。

5、请求分配输入缓冲区

ctx.enc->output_plane.setupPlane(V4L2_MEMORY_MMAP, 10, true, false);

        请求分配输入缓冲区(v4l2_requestbuffers)，type为V4L2_MEMORY_MMAP表示内存映射缓冲区。

6、请求分配输出缓冲区

ctx.enc->capture_plane.setupPlane(V4L2_MEMORY_MMAP, 6, true, false);

        请求分配输出缓冲区(v4l2_requestbuffers)，type为V4L2_MEMORY_MMAP表示内存映射缓冲区。

7、编码器输入流开启

ctx.enc->output_plane.setStreamStatus(true);

        就是调用ioctl(),请求类型为VIDIOC_STREAMON。

8、编码器输出流开启

ctx.enc->capture_plane.setStreamStatus(true);

         就是调用ioctl(),请求类型为VIDIOC_STREAMON。

9、设置编码器输出回调函数

ctx.enc->capture_plane.setDQThreadCallback(encoder_capture_plane_dq_callback);

        这里是设置回调函数，后面会开启一个线程用于获取编码器输出缓冲buffer，之后就会调用这里设置的回调函数，回调函数的工作就是获取buffer中已编码好的视频。

10、开启输出线程

ctx.enc->capture_plane.startDQThread(&ctx);

        开启一个线程，用于从编码器输出缓冲队列capture_plane中获取准备好的缓冲buffer。

11、输出缓冲区入队

for (uint32_t i = 0; i < ctx.enc->capture_plane.getNumBuffers(); i++)
{
	struct v4l2_buffer v4l2_buf;
	struct v4l2_plane planes[MAX_PLANES];

	memset(&v4l2_buf, 0, sizeof(v4l2_buf));
	memset(planes, 0, MAX_PLANES * sizeof(struct v4l2_plane));

	v4l2_buf.index = i;
	v4l2_buf.m.planes = planes;

	ret = ctx.enc->capture_plane.qBuffer(v4l2_buf, NULL);
	if (ret < 0)
	{
		cerr << "Error while queueing buffer at capture plane" << endl;
		abort(&ctx);
		goto cleanup;
	}
}

        编码器输出缓冲区capture_plane全部送入编码器输出队列，准备接收编码后的视频数据。

12、获取输入的所有缓冲buffer(output_plane)、填充视频帧、缓冲buffer送入输入队列

for (uint32_t i = 0; i < ctx.enc->output_plane.getNumBuffers() &&
            !ctx.got_error; i++)
{
	struct v4l2_buffer v4l2_buf;
	struct v4l2_plane planes[MAX_PLANES];
	NvBuffer *buffer = ctx.enc->output_plane.getNthBuffer(i);

	memset(&v4l2_buf, 0, sizeof(v4l2_buf));
	memset(planes, 0, MAX_PLANES * sizeof(struct v4l2_plane));

	v4l2_buf.index = i;
	v4l2_buf.m.planes = planes;

	if (read_video_frame(ctx.in_file, *buffer) < 0)
	{
		cerr << "Could not read complete frame from input file" << endl;
		v4l2_buf.m.planes[0].bytesused = 0;
	}
	/**
	 * buffer is touched by CPU in read_video_frame(), so NvBufSurfaceSyncForDevice()
	 * is needed to flash cached data to memory.
	 */
	ret = sync_buf (buffer);
	if (ret < 0)
	{
		cerr << "Error while sync_buf" << endl;
		abort(&ctx);
		goto cleanup;
	}


	/* render rectangle by CUDA */
	ret = render_rect (&ctx, buffer);
	if (ret < 0)
	{
		cerr << "Error while render_rect" << endl;
		abort(&ctx);
		goto cleanup;
	}


	ret = ctx.enc->output_plane.qBuffer(v4l2_buf, NULL);
	if (ret < 0)
	{
		cerr << "Error while queueing buffer at output plane" << endl;
		abort(&ctx);
		goto cleanup;
	}

	if (v4l2_buf.m.planes[0].bytesused == 0)
	{
		cerr << "File read complete." << endl;
		eos = true;
		break;
	}
}

        这里的目的是询缓冲buffer信息，填充 YUV数据到buffer中，并把buffer送入编码器输入队列(output_plane)。

13、不断的从输入队列output_plane中获取空闲缓冲buffer、填充视频帧、重新送入编码器

while (!ctx.got_error && !ctx.enc->isInError() && !eos)
{
	struct v4l2_buffer v4l2_buf;
	struct v4l2_plane planes[MAX_PLANES];
	NvBuffer *buffer;

	memset(&v4l2_buf, 0, sizeof(v4l2_buf));
	memset(planes, 0, sizeof(planes));

	v4l2_buf.m.planes = planes;

	if (ctx.enc->output_plane.dqBuffer(v4l2_buf, &buffer, NULL, 10) < 0)
	{
		cerr << "ERROR while DQing buffer at output plane" << endl;
		abort(&ctx);
		goto cleanup;
	}

	if (read_video_frame(ctx.in_file, *buffer) < 0)
	{
		cerr << "Could not read complete frame from input file" << endl;
		v4l2_buf.m.planes[0].bytesused = 0;
	}
	/**
	 * buffer is touched by CPU in read_video_frame(), so NvBufSurfaceSyncForDevice()
	 * is needed to flash cached data to memory.
	 */
	ret = sync_buf (buffer);
	if (ret < 0)
	{
		cerr << "Error while sync_buf" << endl;
		abort(&ctx);
		goto cleanup;
	}

	/* render rectangle by CUDA */
	ret = render_rect (&ctx, buffer);
	if (ret < 0)
	{
		cerr << "Error while render_rect" << endl;
		abort(&ctx);
		goto cleanup;
	}


	ret = ctx.enc->output_plane.qBuffer(v4l2_buf, NULL);
	if (ret < 0)
	{
		cerr << "Error while queueing buffer at output plane" << endl;
		abort(&ctx);
		goto cleanup;
	}

	if (v4l2_buf.m.planes[0].bytesused == 0)
	{
		cerr << "File read complete." << endl;
		eos = true;
		break;
	}
}

        这里是不断地从输入队列output_plane中获取缓冲buffer、填充YUV、把缓冲buffer重新送入输入队列，这里就是开启正式的编码循环。

14、编码结束、释放资源

        首先结束输出工作线程：

ctx.enc->capture_plane.waitForDQThread(2000)

        之后就是释放资源、关闭编码设备。

15、encoder_capture_plane_dq_callback回调函数

static bool
encoder_capture_plane_dq_callback(struct v4l2_buffer *v4l2_buf, NvBuffer * buffer,
                                  NvBuffer * shared_buffer, void *arg)
{
    context_t *ctx = (context_t *) arg;
    NvVideoEncoder *enc = ctx->enc;

    if (!v4l2_buf)
    {
        cerr << "Failed to dequeue buffer from encoder capture plane" << endl;
        abort(ctx);
        return false;
    }
    // 把buffer中已编码的视频保存到文件中
    write_encoder_output_frame(ctx->out_file, buffer);

    /* qBuffer on the capture plane */
    // 把buffer重新入队
    if (enc->capture_plane.qBuffer(*v4l2_buf, NULL) < 0)
    {
        cerr << "Error while Qing buffer at capture plane" << endl;
        abort(ctx);
        return false;
    }

    /* GOT EOS from encoder. Stop dqthread. */
    if (buffer->planes[0].bytesused == 0)
    {
        return false;
    }

    return true;
}

        回调函数的作用把输出队列工作线程capture_plane获取的buffer中保存的编码后视频保存到文件。capture_plane工作线程从队列中获取缓冲buffer，需要在回调函数里面重新入队。

D^ε^S
关注
  • 10
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 13
    评论
Nvidia Jetson 编解码开发（6）Jetpack 4.x版本Multimedia API 硬件编码开发--输入端对接Camera V4L2采集
jzwjzw19900922的博客
08-25 354
基于上篇继续开发由于上篇只集成了encode模块，但是编码输入输出端都是读写文件此篇主要描述encode 输入端如何对接Camera V4L2采集端。
nvjmi: Jetson视频解码性能优化
space01的专栏
05-13 861
目录 1 nvjmi介绍 2 nvjmi基于Jetson硬件性能优化 2.1硬件解码 2.2 Transform 2.3 颜色空间转换 1 nvjmi介绍 nvjmi是一基于Jetson Multimedia API的解码库，功能说明参见基于Jetson Multimedia API的解码库_space01的博客-CSDN博客。 2 nvjmi基于Jetson硬件性能优化 Jetson平台提供了一套Multimedia API用于硬件编解码以及图像缩放、裁剪、旋转等图像...
jetson logo更换资源
10-19
自己用
jetson nvmeroot
10-15
jetson nvmeroot
Jetson板卡硬件编解码总结
诗筱涵的博客
04-28 199
官方的其实就这些，硬件解码用nvv4l2decoder，硬件编码用nvv4l2h264enc。另外一个常用的是omxh264enc（
Jetson系列视频教程
03-28
Jetson NX刷机，设置nvme固态硬盘为系统盘
torchvision-jetson
01-27
torchvision-jetson
Jetson视频解码
不定期更新关于音视频的文章
03-21 1908
Jetson 是由 NVIDIA 开发的嵌入式计算平台系列，旨在提供高性能的人工智能（AI）计算能力，适用于嵌入式系统、机器人、自动驾驶汽车和其他边缘计算应用。Jetson 平台通常集成了 NVIDIA 的 GPU 和其他硬件加速器，能够在低功耗的环境下执行复杂的深度学习和计算任务。Jetson Multimedia API（Jetson 多媒体 API）是 NVIDIA 提供的一组软件工具和接口，用于在 Jetson 平台上进行视频和图像处理。
nVidia Jetson 系列模组视频编码、解码性能一览表
程序猿视角
03-23 2474
1. 视频编码 2. 视频解码
Jetson Nano资料.zip
02-08
Jetson板卡开发资料，视频教程，包括：Jetson Nano U盘做为系统盘.mp4，Jetson Nano - Use USB Drive.mp4，Jetson Nano 设置电源功耗模式.mp4，Jetson Nano 设置交换区文件增加内存.mp4，Jetson Nano 摄像头安装及...
Jetson Orin Nano使用OpenCV获取视频帧率和帧数的方法
darcsdn
01-20 747
计算验证，fps含义，多少帧frame每秒，视频的时间就等于总帧数/fps，807/30=26.9s，符合我们最开始看到的视频时间。Jetson Orin Nano使用OpenCV获取视频帧率和帧数的方法。python3运行结果，30fps，总帧数807。使用cv库来获取帧率和帧数，测试代码如下。首先确认下视频的播放时间。
jetson nx 使用opencv和gstreamer 硬解码
weixin_NineDays66
08-09 1768
gstreamer opencv 硬解码
orin nano烧录系统，配置opencv440（笔记）
liuuu的博客
10-10 3436
项目要实现yolo识别物体，因此需要烧录镜像，配置基础环境，在这里做个纪录以防忘记。
英伟达Jetson：Jetson Nano视频编解码测试
qq_43711697的博客
07-20 6910
前言 本文主要测试Jetson Nano的编解码的能力是否符合官方文档所展示，本文主要基于1080P和4K的两类分辨率视频进行H.264和H.265的编解码测试，测试内容主要有：1080P，4K视频的直接解码测试；从1080P的USB摄像头和4K的CSI摄像头获取图像进行编码再进行解码显示。 一、安装 GStreamer 首先使用以下命令来安装Gstreamer1.0 sudo add-apt-repository universe sudo add-apt-repository multiverse
视频汇聚EasyCVR平台GA/T 1400视图库应用：助力社会治安防控效能提升
最新发布
TSINGSEE青犀视频官方技术博客
05-30 311
在具体应用中，GA/T 1400视图库通过统一的标准协议，实现了前端采集设备与后端平台之间的无缝对接。无论是人脸、车牌等结构化数据的采集，还是视频图像的传输和处理，都可以通过视图库进行统一管理和调度。
Audition 2024 for Mac/Win：音频录制与编辑的卓越之选
2401_82627223的博客
05-28 392
Audition 2024是一款集高品质录音、精细音频编辑和强大兼容性于一身的专业音频处理软件。
音视频开发—音频相关概念：数模转换、PCM数据与WAV文件详解
weixin_46999174的博客
05-27 884
音频相关概念：数模转换、PCM数据与WAV文件详解
opencv jetson gst编码
09-14
OpenCV Jetson GST编码是指在Jetson平台上使用GStreamer（GST）框架对图像和视频进行编码的OpenCV扩展。GStreamer是一个功能丰富且灵活的多媒体框架，它可以在Jetson平台上实现高效的图像和视频处理。 通过使用OpenCV Jetson GST编码，我们可以利用GStreamer提供的丰富的编码器来对图像和视频进行压缩，并将其保存到硬盘上或通过网络传输。这样可以减小数据大小，提高传输效率，并保留图像和视频的质量。 OpenCV Jetson GST编码的使用步骤如下： 1. 首先，需要安装OpenCV和GStreamer的相关库和依赖项。可以通过Jetson平台的包管理工具或源代码进行安装。 2. 在代码中引入OpenCV和GStreamer的头文件。 3. 创建一个GStreamer的pipeline。Pipeline是一个数据流处理的序列，它由多个元素（element）组成，每个元素负责特定的任务。例如，可以创建一个包含摄像头捕捉、编码和保存到文件的pipeline。 4. 设置GStreamer的元素属性。可以设置元素的属性，如编码格式、帧率、分辨率等。这些属性可以根据需要进行自定义。 5. 将OpenCV的图像或视频数据通过OpenCV的API传递给GStreamer pipeline。 6. 启动pipeline并开始进行编码和保存。 7. 在需要时，停止pipeline和释放资源。 通过使用OpenCV Jetson GST编码，可以实现高效的图像和视频编码，并且可以根据需要对编码器进行自定义配置。这对于Jetson平台上的图像处理和视频流处理应用程序非常有用，可以提高处理速度和资源利用率。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值