【FFmpeg】调用ffmpeg和SDL2进行解码后渲染播放

已于 2024-05-15 21:54:22 修改
阅读量1.1k 收藏 30
点赞数 34
文章标签： ffmpeg c++ video-codec 视频编解码 c语言
于 2024-05-13 10:20:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42877471/article/details/138716227
版权

【FFmpeg】调用FFmpeg和SDL2进行解码后渲染播放


参考： 雷霄骅博士，100行代码实现最简单的基于FFMPEG+SDL的视频播放器（SDL1.x）
示例工程：
【FFmpeg】调用FFmpeg库实现264软编
【FFmpeg】调用FFmpeg库实现264软解
【FFmpeg】调用ffmpeg库进行RTMP推流和拉流

1.FFmpeg编译

参考: FFmpeg在Windows下的编译
本文使用的版本为FFmpeg-7.0

2.SDL2库的准备

SDL2直接使用SDL-2.30.3版本的lib文件，
参考：github链接 [SDL2-devel-2.30.3-VC.zip]

3.调用FFmpeg和SDL2进行解码后渲染播放

3.1 基本框架

在实现时，对参考博客中代码进行了修改

  1. 不再使用av_register_all()函数对编解码器进行初始化
  2. 修改部分变量的赋值方式，因为变量存储的位置发生了变化
  3. 修改部分函数的使用方式，因为部分函数已经被废弃
  4. 没有进行文件的存储，而是直接播放

在解码和渲染过程中，主要使用的函数有

函数名作用
avformat_alloc_context创建AVFormatContext（格式的上下文结构体），记录流的格式信息
avformat_open_input打开输入文件的流，读取头信息给到AVFormatContext，但没有打开编解码器
avformat_find_stream_info读取媒体文件的包来获取流信息（对于MPEG格式文件很有用，因为MPEG格式文件是没有头信息的）
avcodec_find_decoder根据AVCodecID查找解码器
avcodec_alloc_context3根据AVCodec创建上下文信息AVCodecContext
avcodec_open2打开AVCodec
av_frame_alloc创建AVFrame
av_image_fill_arrays根据长宽和颜色格式，获取所提供的buffer的每个通道的首地址和每个通道的长度信息
av_dump_format打印format信息
sws_getContext获取sws上下文结构体，是使用sws_scale的基础
SDL_Init根据Flag来初始化SDL库
SDL_CreateWindow创建SDL窗口，此时可以指定窗口的长宽和渲染方式
SDL_CreateRender创建渲染器
SDL_CreateTexture创建纹理信息，推送纹理到window的操作是由render完成的
av_read_frame读取帧信息
avcodec_send_packet向解码器输送帧，进行解码
avcodec_receive_frame获取解码器已经解码的帧
sws_scale剪裁图片
SDL_UpdateYUVTexture更新sdl_texture的信息
SDL_RenderClear清理渲染器，使用绘图颜色来清除
SDL_RenderCopy将纹理的一部分复制到当前渲染目标
SDL_RenderPresent使用自上次调用以来执行的任何呈现来更新屏幕
SDL_Delay延时
av_packet_unref释放packet
sws_freeContext释放sws上下文信息
SDL_Quit释放SDL库
av_frame_free释放AVFrame
avformat_close_input释放AVFormatContext

程序主要流程：
===== 解码器流程 =====

  1. 创建接收输入流格式的结构体（avformat_alloc_context）
  2. 打开输入文件的流，并读取头信息（avformat_open_input）
  3. 读取输入流的包来获取流信息（avformat_find_stream_info）
  4. 查找解码器（avcodec_find_decoder）
  5. 创建解码器上下文结构体（avcodec_alloc_context3）
  6. 打开解码器（avcodec_open2）
  7. 获取输出文件各通道的首地址和各通道的长度（av_image_fill_arrays）
  8. 获取sws上下文结构体，该结构是使用sws_scale的基础（sws_getContext）

===== SDL流程 =====

  1. 初始化SDL（SDL_Init）
  2. 创建SDL窗口（SDL_CreateWindow）
  3. 创建渲染器（SDL_CreateRenderer）
  4. 创建纹理信息（SDL_CreateTexture）
  5. 循环读取帧信息（av_read_frame）
  6. 将帧信息送入到解码器当中进行解码（avcodec_send_packet）
  7. 获取解码器解码的帧（avcodec_receive_frame）
  8. 将获取的帧进行裁剪（sws_scale）
  9. 根据裁剪的帧信息，更新SDL_Texture
  10. 清空渲染器（SDL_RenderClear）
  11. 将纹理信息复制到渲染器中（SDL_RenderCopy）
  12. 将纹理信息通过渲染器推送到屏幕（SDL_RenderPresent）
  13. 延时显示（SDL_Delay）

===== 流程结束 =====

  1. 释放结构体信息（av_packet_unref，sws_freeContext，SDL_Quit，av_frame_free，avformat_close_input）

在上述流程中，渲染器这一系统的输入是所要渲染的帧（会拷贝到Texture中），工作系统是渲染器（Render），渲染的结果是（Window）。

3.2 实现代码

#include <stdio.h>
#include <stdlib.h>
#include <string.h>

#include "sdl2.h"

#ifdef _WIN32
//Windows
extern "C"
{
#include "libavcodec/avcodec.h"
#include "libavformat/avformat.h"
#include "libswscale/swscale.h"
#include "SDL.h"
#include "libavutil/imgutils.h"
};
#else
//Linux...
#ifdef __cplusplus
extern "C"
{
#endif
#include "libavcodec/avcodec.h"
#include "libavformat/avformat.h"
#include "libswscale/swscale.h"
#include "SDL.h"
#include "libavutil/imgutils.h"
#ifdef __cplusplus
};
#endif
#endif

int sdl2()
{
	AVFormatContext* av_fmt_ctx;
	int i;
	int video_idx;
	AVCodecContext* av_codec_ctx;
	const AVCodec* av_codec;
	AVFrame* av_frm;
	AVFrame* av_frm_yuv;

	unsigned char* out_buffer;
	AVPacket* av_pkt;
	int y_size;
	int ret;
	int got_picture;
	struct SwsContext* img_convert_ctx;

	int screen_wdt = 0;
	int screen_hgt = 0;
	SDL_Window* sdl_window;
	SDL_Renderer* sdl_render;
	SDL_Texture* sdl_texture;
	SDL_Rect sdl_rect;

	FILE* fp_yuv;

	// avformat_network_init();
	av_fmt_ctx = avformat_alloc_context();

	char file_path[] = "enc_out.bin";

	ret = avformat_open_input(&av_fmt_ctx, file_path, NULL, NULL);
	if(ret < 0) {
		fprintf(stderr, "could not open input steram, error code:%d\n", ret);
		return -1;
	}

	ret = avformat_find_stream_info(av_fmt_ctx, NULL);
	if (ret < 0) {
		fprintf(stderr, "could not find stream information, error code:%d\n", ret);
		return -1;
	}

	video_idx = -1;
	for (i = 0; i < av_fmt_ctx->nb_streams; i++) {
		if (av_fmt_ctx->streams[i]->codecpar->codec_type == AVMEDIA_TYPE_VIDEO) {
			video_idx = i;
			break;
		}
	}

	if (video_idx == -1) {
		fprintf(stderr, "could not find video stream\n");
		return -1;
	}

	// av_codec_ctx = av_fmt_ctx->streams[video_idx]->codecpar->codec_ctx;
	av_codec = avcodec_find_decoder(AV_CODEC_ID_H264);
	if (!av_codec) {
		fprintf(stderr, "could not find encoder\n");
		return -1;
	}

	av_codec_ctx = avcodec_alloc_context3(av_codec);
	if (!av_codec_ctx) {
		fprintf(stderr, "could not alloc codec context\n");
		return -1;
	}

	ret = avcodec_open2(av_codec_ctx, av_codec, NULL);
	if ( ret < 0) {
		fprintf(stderr, "could not open codec\n");
		return -1;
	}

	av_frm = av_frame_alloc();
	av_frm_yuv = av_frame_alloc();

	av_codec_ctx->width = av_fmt_ctx->streams[video_idx]->codecpar->width;
	av_codec_ctx->height = av_fmt_ctx->streams[video_idx]->codecpar->height;
	av_codec_ctx->pix_fmt = AV_PIX_FMT_YUV420P;

	out_buffer = (unsigned char*)av_malloc(av_image_get_buffer_size(AV_PIX_FMT_YUV420P, av_codec_ctx->width, av_codec_ctx->height, 1));
	// 根据长宽和颜色格式，将out_buffer的每个通道的首地址和每个通道的长度解析出来
	av_image_fill_arrays(av_frm_yuv->data, av_frm_yuv->linesize, out_buffer, AV_PIX_FMT_YUV420P, av_codec_ctx->width, av_codec_ctx->height, 1);
	av_pkt = (AVPacket*)av_malloc(sizeof(AVPacket));

	// output info
	fprintf(stdout, "--------------- File Information ----------------\n");
	av_dump_format(av_fmt_ctx, 0, file_path, 0);
	fprintf(stdout, "-------------------------------------------------\n");

	// 获取sws上下文结构体，是使用sws_scale()的基础
	img_convert_ctx = sws_getContext(av_codec_ctx->width, av_codec_ctx->height, av_codec_ctx->pix_fmt,
		av_codec_ctx->width, av_codec_ctx->height, AV_PIX_FMT_YUV420P, SWS_BICUBIC, NULL, NULL, NULL);

	// 初始化SDL
	// 视频模块 | 音频模块 | 计时器模块
	ret = SDL_Init(SDL_INIT_VIDEO | SDL_INIT_AUDIO | SDL_INIT_TIMER);
	if (ret < 0) {
		fprintf(stderr, "could not init sdl, error code:%d\n", ret);
		return -1;
	}
	screen_wdt = av_codec_ctx->width;
	screen_hgt = av_codec_ctx->height;

	// SDL2.0 support multiple windows
	// 创建SDL窗口，并指定OpenGL渲染
	// (name, rect.x, rect.y, rect.w, rect.h, render_library)
	sdl_window = SDL_CreateWindow("player window", SDL_WINDOWPOS_UNDEFINED, SDL_WINDOWPOS_UNDEFINED, screen_wdt, screen_hgt, SDL_WINDOW_OPENGL);
	if (!sdl_window) {
		fprintf(stderr, "SDL: could not create window - existing:%s\n", SDL_GetError());
		return -1;
	}
	// 创建渲染器，渲染的对象是sdl_window
	// (SDL_Window object, index, flags)
	// index = -1 表示使用第一个支持flags的渲染驱动进行渲染
	// 0表示不使用特定参数，如使用硬件渲染等
	sdl_render = SDL_CreateRenderer(sdl_window, -1, 0);
	// IYUV: Y + U + V (3 planes)
	// YV12: Y + V + U (3 planes)
	// 创建纹理信息，推送纹理到window的手是render
	// (render, format, access, wdt, hgt,)
	sdl_texture = SDL_CreateTexture(sdl_render, SDL_PIXELFORMAT_IYUV, SDL_TEXTUREACCESS_STREAMING, av_codec_ctx->width, av_codec_ctx->height);

	sdl_rect.x = 0;
	sdl_rect.y = 0;
	sdl_rect.w = screen_wdt;
	sdl_rect.h = screen_hgt;

	// frame process and render
	while (av_read_frame(av_fmt_ctx, av_pkt) >= 0) {
		if (av_pkt->stream_index == video_idx) {
			ret = avcodec_send_packet(av_codec_ctx, av_pkt);
			if (ret < 0) {
				fprintf(stderr, "decode error\n");
				return -1;
			}

			while (ret >= 0) {
				ret = avcodec_receive_frame(av_codec_ctx, av_frm);
				if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) {
					return -1;
				}
				else if (ret < 0) {
					fprintf(stderr, "Error during decoding, error code:%d\n", ret);
					return -1;
				}

				// 裁剪图片，存储到av_frm_yuv当中
				sws_scale(img_convert_ctx, (const unsigned char* const*)av_frm->data, av_frm->linesize, 0, av_codec_ctx->height,
					av_frm_yuv->data, av_frm_yuv->linesize);
				// 根据av_frm_yuv的data，更新sdl_texture信息
				SDL_UpdateYUVTexture(sdl_texture, &sdl_rect,
					av_frm_yuv->data[0], av_frm_yuv->linesize[0],
					av_frm_yuv->data[1], av_frm_yuv->linesize[1],
					av_frm_yuv->data[2], av_frm_yuv->linesize[2]);

				SDL_RenderClear(sdl_render);								// 用绘图颜色清除当前渲染目标
				SDL_RenderCopy(sdl_render, sdl_texture, NULL, &sdl_rect);	// 将纹理的一部分复制到当前渲染目标
				SDL_RenderPresent(sdl_render);								// 使用自上次调用以来执行的任何呈现更新屏幕
				SDL_Delay(40); // delay 40ms
			}
		}
		av_packet_unref(av_pkt);
	}

	// flush decoder
	// ...

	sws_freeContext(img_convert_ctx);

	SDL_Quit();
	av_frame_free(&av_frm);
	av_frame_free(&av_frm_yuv);
	// avcodec_close(av_codec); // deprecate
	avformat_close_input(&av_fmt_ctx);
	return 0;
}

4.测试结果

--------------- File Information ----------------
Input #0, h264, from 'enc_out.bin':
  Duration: N/A, bitrate: N/A
  Stream #0:0: Video: h264 (High), yuv420p(progressive), 1920x1200, 25 fps, 0.08 tbr, 1200k tbn
-------------------------------------------------

这里打印了文件信息，同时会弹出播放界面进行播放。同样地，也可以结合之前的实时拉流操作，将实时拉流下来的帧进行解码渲染，实现实时播放器的功能。

东城山
关注
基于开源FFmpeg和SDL2.0的音视频解码播放和存储系统的实现
dvlinker的技术专栏
08-05 2万+
本文详细介绍一个基于基于开源FFmpeg和SDL2.0的音视频解码播放和存储系统的实现，希望能给大家提供一定的借鉴或参考。
FFmpeg解码并播放视频
10-11
在Android ndk中使用FFmpeg解码并播放视频，全部是自己手写的，完全可用。如有问题大家多沟通交流。
ffmpeg+SDL2实现的视频播放器(windows版)
10-09
博客：http://blog.csdn.net/i_scream_/article/details/52760033 中的代码。 测试环境：win10 64bit+ vs2010/vs2015
ffmpeg+SDL2实现的音频播放器V2.0（无杂音）
10-05
ffmpeg+SDL2实现的音频播放器 博客：http://blog.csdn.net/i_scream_/article/details/52736200 中的代码。
SDL2# - C# 封装库：跨平台多媒体开发利器
最新发布
weixin_42600407的博客
08-27 1137
本文还有配套的精品资源，点击获取 简介：SDL2# 是一个 C# 封装库，为 .NET 开发者提供了访问 SDL2 库的功能，SDL2 是一款跨平台的多媒体开发库，广泛应用于游戏开发。通过使用 C# 封装，开发者可以利用 C# 的语法和工具集，轻松调用和操作 SDL2 的强大功能，用于创建跨平台的图形、音频和输入处理应用程序。 1. C# 语言简介 C# 是一种...
ffmpeg 和 SDL 教程
ThinkingAboutLife的专栏
01-14 5594
教程1:制作屏幕录像代码：tutorial01.c概要电影文件有很多基本的组成部分。首先，文件本身被称为容器Container，容器的类型决定了信息被存放在文件中的位置。AVI和Quicktime就是容器的例子。接着，你有一组流，例如，你经常有的是一个音频流和一个视频流。（一个流只是一种想像出来的词语，用来表示一连串的通过时间来串连的数据元素）。在流中的数据元素被称为帧Frame。 每个流是由不同
ffmpeg+sdl教程----编写一个简单的播放器4(让程序更模块化)
mu399的专栏
08-16 1万+
      上个教程为视频加入了音频，但是音频和视频间完全没有同步，各自播放各自的数据帧，我们将在下一个教程实现音频和视频之间的同步，再那之前需要先做一些准备工作。      为了让程序更模块化，便于扩展，需要把原来main函数中的各个功能模块代码分离出来放在相应的函数中。该教程和上个教程相比代码量和难度都增加很多，比上个教程使用了更多的线程，一定要理解清楚各个函数和数据结构之间的关联。// ffmpegExe.cpp: 主项目文件。 #include "libavformat/avformat.h"
ffmpeg+sdl教程----编写一个简单的播放器3(为视频加入音频)
热门推荐
mu399的专栏
08-16 1万+
  上个教程实现了视频的简单播放，但那是个哑巴电影，完全没有声音，下面的程序会为视频加入相应的音频：// ffmpegExe.cpp: 主项目文件。 #include "stdafx.h" #include "libavformat/avformat.h" #include "libswscale/swscale.h" #include #include #include #include #include #include #include #ifdef m
ffmpeg与SDL结合使用
qq_63053996的博客
12-29 1567
ffmpeg与SDL结合使用
FFmpeg + SDL 视频播放器
狗蛋的博客
07-05 241
FFmpeg解码流程图 • FFmpeg解码函数简介 av_register_all()：注册所有组件。 avformat_open_input()：打开输入视频文件。 avformat_find_stream_info()：获取视频文件信息。 avcodec_find_decoder()：查找解码器。 avcodec_open2()：打开解码器。 av_read_frame()：从输入文件读取一帧压缩数据。 avcodec_decode_video2()：解码一帧压缩数据。 avcodec_close
qt整合ffmpeg实现点击按钮调用sdl2实现纹理渲染随机出现的方块
04-20
最后，别忘了在每次渲染完毕后调用`SDL_RenderPresent()`，将渲染缓冲区的内容显示到屏幕上，以及在不再需要时释放所有资源，如关闭FFmpeg的解码器、释放SDL2的纹理和窗口。 总的来说，这个项目结合了Qt的UI设计、...
qt整合ffmpeg实现点击按钮调用sdl2显示一个简单的播放器窗口
04-19
总的来说，整合Qt、FFmpeg和SDL2创建播放器涉及的主要步骤包括：文件打开与流解析、解码器初始化、色彩空间转换、视频帧的渲染以及资源的释放。这个过程涉及到多媒体处理的核心技术，对理解媒体播放机制有深远的意义...
FFmpeg和SDL实现的视频缩放播放器（VC2010）
06-10
FFmpeg和SDL实现的视频缩放播放器，VC2010平台，FFmpeg和SDL都是最近下载的最新版，内含源代码，可直接运行，一些参数可自己修改设定，据网上多方资料修改而成，因只是个人公司项目的一极小模块的测试代码，故没有做标注，不过代码比较简单，代码量也很小
FFmpeg+SDL播放视频
06-08
FFmpeg解码视频，并通过SDL来播放视频，学习FFmpeg编辑、学习SDL的同学都可以下载学习。
qt整合ffmpeg实现点击按钮调用sdl2显示一个可以手动关闭的播放器窗口
04-20
8. **优化和调试**：测试播放器的性能和稳定性，根据需要进行优化，例如使用多线程解码以提高播放流畅性，或者添加错误处理机制。 总的来说，这个项目将结合Qt的UI设计优势、FFmpeg的多媒体处理能力以及SDL2的图形...
simplest_ffmpeg_player_2.zip_ffmpeg sdl_ffmpeg vc_ffmpeg 播放_ffmp
09-21
7. **关闭和清理**：当播放结束或用户退出时，记得释放所有资源，包括 FFmpeg 和 SDL 的上下文、解码器、窗口和渲染器。 这个项目对于初学者来说是一个很好的起点，因为它展示了如何将两个强大的库结合起来创建一个...
FFmpeg+SDL---视音频基础知识以及相关工具使用
叮咚的博客
04-17 456
一章：视音频基础知识 目录 • 前言 • 视频播放器原理：处理的流程，并对流程展开挨个介绍 • 封装格式（MP4，RMVB，TS，FLV，AVI） • 视频编码数据（H.264，MPEG2，VC-1） • 音频编码数据（AAC，MP3，AC-3） • 视频像素数据（YUV420P，RGB）：送到显卡进行显示的数据 • 音频采样数据（PCM） • 练习 视频播放器原理，播放一个视频文件的流程： 封...
FFmpeg+SDL纯视频播放器
依依妖妖的林少的博客
01-09 2360
简介 这里实现了一个简单的纯视频播放器，其数据流图如下 图中已经表述的很清楚了，解复用、解码、分辨率调节都通过ffmpeg完成，而显示则由SDL完成。其中解复用、解码和分辨率调整部分可以参看ffmpeg给出的示例文件（解复用和解码可参考demuxing_decoding.c，分辨率调整可参考scaling_video.c）。 分辨率调节并不是必须的，但如果输入视频的分辨率是1080P的话，则最终的显示需要创建一个1920*1080大小的窗口，否则视频将显示不完全。 头文件 解复用需要用到libavfor
关于ffmpeg视频的渲染
weixin_30265103的博客
01-09 227
从 ffmpeg sdl教程 我们可以看到，使用的方法是ffmpeg解码,转成YUV格式的视频帧，然后再使用sdl的yuv覆盖的模式进行渲染。虽然 yuv对每个像素的占用内存较少，且sdl的的输出快速，但是如果要集成到其他UI上就有点麻烦了。 SDL仅仅就是通过传递参数SDL_WINDOWID给SDL_putenv函数（如下所示），以此重定向视频的渲染输出.中间sdl所做的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值