ffmpeg编解码器包装类

最新推荐文章于 2024-01-14 20:41:04 发布
最新推荐文章于 2024-01-14 20:41:04 发布
阅读量321 收藏 1
点赞数
分类专栏： 音视频 文章标签： ffmpeg 音频编码解码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wenfan0934/article/details/120656869
版权

对视频处理过程中，有编码，解码过程，两个过程在ffmpeg实现过程中有相同的处理函数，为了降低代码冗余，封装两个过程显得很有必要。

编码，解码两个过程的处理函数有：

  1. avcodec_find_encoder() 找到编码器
  2. avcodec_find_encoder() 找到解码器
  3. avcodec_alloc_context() 生成编码器上下文
  4. avcodec_open2打开编码器上下文
  5. avcodec_send_frame() 发送帧到线程中压缩（编码）
  6. avcodec_send_packet() 发送帧到线程中压缩（解码）
  7. avcodec_receive_packet() 接受缓冲中接受压缩后的packet（编码）
  8. avcodec_receive_frame() 接受缓冲中接受压缩后的packet（解码）

还有申请两个编解码数据载体，AVFrame和AVPacket

  1. av_frame_alloc() 申请AVFrame对象
  2. av_frame_get_buffer() 给AVFrame对象分配内部空间
  3. av_packet_alloc() 申请AVPacket对象

同时别忘记很重要的内存释放

  1. av_packet_free();
  2. av_frame_free();
  3. 12.avcodec_free_context();
    对于AVPacket，avcodec_receive_packet()后，输入的AVPacket会有数据，在内部会申请空间，这需要调用av_packet_unref()擦除AVPacket数据，不然会导致内存泄漏。

编解码的基本使用

编码器的使用

#pragma once
extern "C"
{
#include <libavcodec/avcodec.h>
}

#include <iostream>
#include <fstream>
using namespace std;

#define H264_FILE "..\\..\\resources\\generate_YUV.h264"
#define H265_FILE "..\\..\\resources\\generate_YUV.h265"
#define YUV_FILE "..\\..\\resources\\generate_YUV.yuv"

void encoderFrame()
{
	int ret;
	int width = 640, height = 480;

	ofstream out_file;
	out_file.open(H265_FILE, ios::binary);
	if(!out_file.is_open())
	{
		cout << "Failed to open H265_FILE" << endl;
		return;
	}
	ofstream out_yuv_file;
	out_yuv_file.open(YUV_FILE, ios::binary);
	if (!out_yuv_file.is_open())
	{
		cout << "Failed to open out_yuv_file" << endl;
		return;
	}

	//查找编码器
	AVCodec* codec = avcodec_find_encoder(AVCodecID::AV_CODEC_ID_H265);
	if (!codec)
	{
		cerr << "avcodec_alloc_context3 failed!" << endl;
		return;
	}

	//生成编码器上下文
	AVCodecContext* context = avcodec_alloc_context3(codec);
	context->width = width;
	context->height = height;
	// pts 显示时间戳，这个时间戳用来告诉播放器该在什么时候显示这一帧的数据。
	// dts 解码时间戳，这个时间戳的意义在于告诉播放器该在什么时候解码这一帧的数据。
	context->time_base = { 1, 25 };  // 播放时间=pts*time_base,pts是刻度尺
	context->pix_fmt = AV_PIX_FMT_YUV420P;// 元数据像素格式，与编码算法相关
	context->thread_count = 16; //编码线程数，可以通过调用系统接口获取cpu核心数量

	//打开编码器
	ret = avcodec_open2(context, codec, NULL);
	if (ret < 0)
	{
		char buf[512] = { 0 };
		av_strerror(ret, buf, sizeof buf - 1);
		return ;
	}

	cout << "Has aleady open avcodec." << endl;

	//创建AVFrame，将未压缩数据置入AVFrame中
	AVFrame* frame = av_frame_alloc();
	frame->width = context->width;
	frame->height = context->height;
	frame->format = context->pix_fmt;

	ret = av_frame_get_buffer(frame, 0);
	if (ret < 0)
	{
		char buf[512] = { 0 };
		av_strerror(ret, buf, sizeof(buf) - 1);
		return;
	}
	
	AVPacket* packet = av_packet_alloc();
	if (!packet)
	{
		cout << "Failed to av_packet_alloc" << endl;
		return ;
	}

	//准备YUV数据
	//生成250帧的YUV,fps=25,播放十秒
	for (int i = 0; i < 250; i++)
	{
		//生成AVFrame 数据 每帧数据不同
		//Y
		for (int y = 0; y < context->height; y++)
		{
			for (int x = 0; x < context->width; x++)
			{
				frame->data[0][y * frame->linesize[0] + x] = x + y + i * 3;
			}
		}
		//UV
		for (int y = 0; y < context->height / 2; y++)
		{
			for (int x = 0; x < context->width / 2; x++)
			{
				frame->data[1][y * frame->linesize[1] + x] = 128 + y + i * 2;
				frame->data[2][y * frame->linesize[2] + x] = 64 + x + i * 5;
			}
		}
		cout << "linesize = " << frame->linesize[0] << endl;
		cout << "linesize = " << frame->linesize[1] << endl;
		cout << "linesize = " << frame->linesize[2] << endl;
		out_yuv_file.write((char*)frame->data[0], frame->linesize[0] * height);
		out_yuv_file.write((char*)frame->data[1], frame->linesize[1] * height / 2);
		out_yuv_file.write((char*)frame->data[2], frame->linesize[2] * height / 2);


		frame->pts = i;

		//发送帧到线程中压缩
		ret = avcodec_send_frame(context, frame);
		cout << "avcodec_send_frame" << endl;
		if (ret != 0)
		{
			char buf[512] = { 0 };
			av_strerror(ret, buf, sizeof buf - 1);
			break;
		}

		while (ret >= 0)
		{
			//编码，接受压缩帧，一遍前几针会返回空，会缓冲，每次编码会在单独的线程当中
			ret = avcodec_receive_packet(context, packet);
			if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF)
			{
				break;
			}
			if (ret < 0)
			{
				char buf[1024] = { 0 };
				av_strerror(ret, buf, sizeof(buf) - 1);
				cout << "Failed to receive packet!" << endl;
				break;
			}
			cout << "packet size : " << packet->size << endl;
			out_file.write((char*)packet->data, packet->size);
			av_packet_unref(packet);
		}

	}
	out_yuv_file.close();
	out_file.close();
	av_packet_free(&packet);
	av_frame_free(&frame);
	avcodec_free_context(&context);
}

解码器的基本使用

#pragma once
#include <iostream>
#include <fstream>
#include <sstream>
#include "my_video_view.h"
extern "C"
{
#include <libavcodec/avcodec.h>
#include <libavutil/avutil.h>
}

#define H264_FILE "..\\..\\resources\\Wildlife.h264"
#define DECODE_RESULT "..\\..\\resources\\decode_result.yuv"
using namespace std;
#define SHOWERROR(id, msg) if(id != 0){cerr << msg << endl;}
 
void test_encode()
{

	MyVideoView* view = MyVideoView::Create();
	ifstream ifs;
	ifs.open(H264_FILE, ios::binary);
	if (!ifs.is_open())
	{
		cerr << "Failed to open H264_FILE file" << endl;
		return;
	}

	AVCodecID codec_id = AV_CODEC_ID_H264;


	//1 找到解码器
	AVCodec* codec = avcodec_find_decoder(codec_id);

	//2 创建上下文
	AVCodecContext* context = avcodec_alloc_context3(codec);
	//3 打开上下文
	avcodec_open2(context, NULL, NULL);

	//parse 上下文
	AVCodecParserContext* parseContext = av_parser_init(codec_id);
	AVPacket* packet = av_packet_alloc();
	AVFrame* frame = av_frame_alloc();
	AVFrame* hw_frame = av_frame_alloc();

	//硬件加速格式 DXVA2
	auto hw_type = AV_HWDEVICE_TYPE_DXVA2;

	//打印所有支持的硬件加速方式
	for (int i = 0;; i++)
	{
		const AVCodecHWConfig* config = avcodec_get_hw_config(codec, i);
		if (!config)break;
		if (config->device_type)
		{
			cout << av_hwdevice_get_type_name(config->device_type) << endl;
		}
	}

	//初始化硬件加速上下文
	AVBufferRef* hw_context = nullptr;
	av_hwdevice_ctx_create(&hw_context, hw_type, NULL, NULL, 0);

	//设定GPU加速
	context->hw_device_ctx = hw_context;
	context->thread_count = 16;

	//打印帧率
	int fps = 0;
	long long begin = MyVideoView::NowMs();
	bool is_first_init = true;

	unsigned char buf[4096] = { 0 };
	while (true)
	{
		ifs.read((char*)buf, sizeof buf);
		int data_size = ifs.gcount();
		if (data_size == 0)
			break;
		unsigned char* data = buf;
		while (data_size > 0)  //一次读入多帧
		{
			int ret = av_parser_parse2(
				parseContext, context, &packet->data, &packet->size,//输出数据
				data, data_size,//输入数据
				AV_NOPTS_VALUE, AV_NOPTS_VALUE, 0
			);
			data += ret;
			data_size -= ret;

			//读入一个片段
			if (packet->size)
			{
				//cout << packet->size << " ";
				//发送packet到解码器
				ret = avcodec_send_packet(context, packet);
				if (ret < 0)
				{
					break;
				}
				//获取多帧解码结果frame
				while (ret >= 0)
				{
					ret = avcodec_receive_frame(context, frame);
					if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF)
					{
						break;
					}
					if (ret < 0)
					{
						char buf[1024] = { 0 };
						av_strerror(ret, buf, sizeof(buf) - 1);
						cout << "Failed to receive frame!" << endl;
						break;
					}
					AVFrame* pframe = frame;
					if (context->hw_device_ctx)
					{
						//硬解码：GPU显存-》CPU显存-》内存
						//这里的format为：AV_PIX_FMT_NV12
						av_hwframe_transfer_data(hw_frame, frame, 0);
						pframe = hw_frame; //统一AVFrame指针，同时支持软硬渲染
					}


					if (is_first_init)
					{
						view->Init(pframe->width, pframe->height, (MyVideoView::Format)pframe->format);
						is_first_init = false;
					}
					fps++;
					view->DrawFrame(pframe);
					//MSleep(40);
					long long now = clock();
					if (now - begin >= 1000)
					{
						stringstream ss;
						ss << "[fps = " << fps <<"]";
						cout << ss.str() << endl;
						begin = now;
						fps = 0;
					}
				
				}
			}

		}
		
		
	}

	//缓冲中可能还有数据,发送NULL，获取frame
	int ret = avcodec_send_packet(context, NULL);
	while (ret >= 0)
	{
		ret = avcodec_receive_frame(context, frame);
		if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF)
		{
			break;
		}
		if (ret < 0)
		{
			char buf[1024] = { 0 };
			av_strerror(ret, buf, sizeof(buf) - 1);
			cout << "Failed to receive frame!" << endl;
			break;
		}
		cout << "[" << frame->format << "] ";
	}
	av_frame_free(&hw_frame);
	av_frame_free(&frame);
	av_packet_free(&packet);
	avcodec_free_context(&context);
	av_parser_close(parseContext);
	ifs.close();
}

在解码时，将编码好的数据读入buf中，这个buf可能不是一个帧的整数倍，可能是几帧数据的小数倍，然后将这些帧数据使用avcodec_send_packet(),将packet发送到多线程中进行解码到缓冲中，这里使用的是生产者，消费者模式，在avcodec_receive_frame()，接受到的AVFrame是一个独立的帧，因此对于读到半帧数据要放入缓冲中，等待其他数据到达了缓冲中时，再从缓冲中取出一个完整的帧。所以这里产生了一个三层while去完成解码操作。

封装编解码器

my_codec.h

#pragma once
#include <mutex>
#include <vector>
#include <string>
struct AVCodecContext;
struct AVFrame;
struct AVPacket;

class MyCodec
{
public:
	static void ShowError(int errorId);
	static void ShowError(const char* msg);

	//创建编解码器上下文
	AVCodecContext* Create(int codecId, bool is_encoder);
	//设置编解码器上下文,加锁，线程安全
	bool SetContext(AVCodecContext* context);
	//给编解码器甚至参数,加锁，线程安全
	bool SetOption(const char* key, const char* val);
	bool SetOption(const char* key, int val);
	//打开编解码器,加锁，线程安全
	bool Open();
	//创建的frame需要释放,加锁，线程安全
	AVFrame* CreateFrame();

protected:
	AVCodecContext* context_;
	std::mutex context_mtx_;

};

my_encoder.h

#pragma once
#include "my_codec.h"
#include <mutex>
#include <vector>
#include <string>
struct AVCodecContext;
struct AVFrame;
struct AVPacket;
class MyEncoder : public MyCodec
{
public:
	MyEncoder();
	//返回的packet需要释放，线程安全
	AVPacket* Encode(const AVFrame* frame);
	std::vector<AVPacket*> GetBufferPacket();
	~MyEncoder();
};

my_decoder.h

#pragma once
#include "my_codec.h"
extern "C"
{
#include <libavcodec/avcodec.h>
#include <libavutil/avutil.h>
}

class MyDecoder : public MyCodec
{
public:
	bool Send(AVPacket* packet);
	bool Receive(AVFrame* frame, bool hw_render);
	std::vector<AVFrame*> End();
	//初始化硬件加速，默认类型为：
	bool InitHW(int type = 4);
};
顾文繁
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
基于qt和ffmpeg视频播放器开发实战
11-09
ffmpeg是世界上应用广的开源视频处理框架，在各个平台（windows，linux，嵌入式、Android、IOS）被广泛应用，可以说是做视频相关项目技能qt是目前跨平台项目界面开发的第一选择，本课程基于这两种框架在加上VC++，给大家讲解延时如何开发出一个视频播放器，各个模块如何结合，如何考虑性能问题，如何设计封装类，如何处理各种异常情况。
FFmpeg3最新的解码接口avcodec_send_packet和avcodec_receive_frame
顺其自然~专栏
03-28 4944
ffmpeg3版本的解码接口做了不少调整，之前的视频解码接口avcodec_decode_video2和avcodec_decode_audio4音频解码被设置为deprecated（极不赞成、强烈反对、否决），对这两个接口做了合并，使用统一的接口。并且将音视频解码步骤分为了两步，第一步avcodec_send_packet，第二步avcodec_receive_frame，通过接口名字我们就可以知道第一步是发送编码数据包，第二步是接收解码后数据。新版本是否只是做了接口的变化，还有有哪些我们需要注意的事项，
FFmpeg源码分析：avcodec_send_packet()与avcodec_receive_frame()音视频解码
Lce的专栏
09-03 1912
FFmpeg在libavcodec模块，旧版本提供avcodec_decode_video2()作为视频解码函数，avcodec_decode_audio4()作为音频解码函数。在FFmpeg 3.1版本新增avcodec_send_packet()与avcodec_receive_frame()作为音视频解码函数。后来，在3.4版本把avcodec_decode_video2()和avcodec_decode_audio4()标记为过时API。
ffmpeg avcodec_send_packet avcodec_receive_frame解码接口使用讲解
weixin_41176628的博客
01-12 6617
解码demo 通常来说，一个packet会被解码出一个frame，不过也存在一个packet被解码出多个frame或者多个packet才能解码出一个frame的情况，甚至也有些解码器在输入以及输出端上可能会有延迟。因此原来的API在某种程度上存在对调用者误导的可能，使得调用者认为输入的一个或者多个Packet就对应着解码器所输出的一个frame，但实际上可能并非如此。 新的API完全隐藏了“解码”这一概念，只提供一个输入packet的接口以及输出frame的接口，如此一来调用者可以不必了解解码器的具体细节，
解码(四):avcodec_send_packet和avcodec_receive_frame函数讲解
weixin_43907175的博客
12-19 3660
1.avcodec_send_packet int avcodec_send_packet(AVCodecContext *avctx,const AVPacket *avpkt); 第一个参数：原来解封装的时候有一个上下文，现在做解码有另外一个上下文，这个上下文贯穿于整个解码逻辑。 第二个参数：会把这个AVPacket放到我们的缓存中。 2.avcodec_receive_frame int avcodec_receive_frame(AVCodecContext *avctx,AVFrame *fram
AudioIpCodec：打开音频IP编解码器
02-21
2. 库选择与依赖管理：Rust生态系统中有许多库可以用于音频处理，例如`rodio`用于音频播放和捕获，`sdl2`提供丰富的多媒体功能，`libavcodec`（Rust包装器`rust-av`）是FFmpeg的音频编解码库。开发者可以根据项目...
avcpp：FFmpeg的C ++包装器
01-31
3. 解码/编码：根据需求，调用对应的解码器或编码器进行处理。 4. 数据处理：可能包括帧的处理、格式转换、滤波等。 5. 写入/读取数据：将处理后的数据写入输出文件或从输入文件读取数据。 6. 清理：关闭输入/输出...
node-kiss-ffmpeg:一个简约的NodeJS FFmpeg包装器
04-30
包装ffmpeg和ffprobe二进制文件以用于异步和同步执行模式FFmpeg类实例提供了有用的异步运行时功能： 自定义事件以捕获转码编解码器信息和进度自动重定向输入和输出流先决条件节点版本当前，kiss-ffmpeg需要Node.js ...
ffmpeg-wrapper:适用于iOS的ffmpeg包装器库
05-23
6. **编码与解码**: 封装了音视频编码器和解码器，可以方便地进行音视频的编码和解码工作。 7. **过滤器支持**: 提供对FFmpeg过滤器的接口，可以实现视频效果处理，如裁剪、旋转、调整亮度等。 8. **流媒体处理**:...
MystiQ：Qt5C ++ FFmpeg媒体转换器
02-02
它可以解码、编码、转换、流化音频和视频文件，支持大量的编码格式和编解码器。在MystiQ中，FFmpeg被用作后端引擎，负责实际的多媒体处理工作。 3. **多媒体处理**：MystiQ的核心功能是进行多媒体文件的转换。用户...
avcodec send_packet和receive_frame
最新发布
技术笔记
01-14 1138
下面是解码的过程代码，对输入给解码器的pkt桢类型进行判断，关键桢打印出，解码出来的桢根据pict_type打印桢类型出I/P/B桢类型，从这里也可以看出来，没解码之前，AVPacket只能得到是否关键帧，要知道桢类型，必须在解码后。完整代码可以从上获取。
FFmpeg5.0源码阅读—— avcodec_send_packet&&avcodec_receive_frame
梦的灰色边沿...
07-09 1230
本文主要描述了FFmpeg中用于解码的接口的具体调用流程，详细描述了该接口被调用时所作的具体工作。
视频通信系统
qq_57221504的博客
12-30 3372
一、作业分析 作业目的：增强特色模块、 联合各模块形成一个系统，完成完整的实验报告（可以直接包含分报告内容）。 实现思路：在前面的作业中，我实现了 ①播放YUV文件 ②视频处理mp4文件，对视频文件进行人脸识别 ③实时采集视频文件为mp4格式 ④对视频文件进行编码，解码，即将yuv文件和h264文件进行相互转换 ⑤用rtp协议发送并接收视频文件，实现视频传输。 在本次作业中，将增强特色模块视频处理，将人脸识别和伽马变换结合起来，使视频中人脸被识别的同时改变视频的明暗对比度。并将各模块分别封装成一个函数，在主
从头用脚分析FFmpeg源码 - avcodec_send_packet | avcodec_receive_frame
qq_35585843的博客
03-30 1077
然后通过判断avci->buffer_frame->buf[0]是否null来决定是否调用decode_receive_frame_internal来接受解码后的frame。需要注意的是，AVCodecContext必须经过avcodec_open2函数打开，输入的AVPacket会在内部增加一个ref，所以如果要free，外部也应该调用av_packet_unref。avcodec_send_packet和avcodec_receive_frame中最核心的函数，大部分的编码格式都会调用到这里解码。
FFmpeg源码（三）解码前世今生——avcodec_decode_video2、avcodec_send_packet与avcodec_receive_frame
Dengzm94
07-23 8409
写在前面 本节主要讲AVPacket中的数据解码到AVFrame中的过程。 前置知识点 1.FFmpeg数据结构简介 AVFormatContext:封装格式上下文结构体，也是统领全局的结构体，保存了视频文件封装格式相关信息 AVInputFormat:每种封装格式对应一个该结构体 AVStream:视频文件每个视频（音频）流对应一个该结构体 AVCodecContext:编码器上下文结构体，...
FFmpeg学习 avcodec软解码函数分析
baiiu
07-29 1115
前言 本文分析ffmpeg软解码流程，相关函数如下，以find_stream_info中的try_decode_frame为例； 相关函数都在libavcodec包下。 const AVCodec *codec = find_probe_decoder(s, st, st->codecpar->codec_id); /* * Force thread count to 1 since the H.264 decoder will not extract * SPS and PPS to ex
ffmpeg源码分析：avcodec_send_packet和avcodec_receive_frame（原avcodec_decode_video2()）
yangguoyu8023的博客
09-03 3513
查看avcodec_decode_video2()函数声明发现，该函数已经过期了，取代它的是avcodec_send_packet、avcodec_receive_frame。我们发现新版的avcodec_decode_video2()最终还是调用了avcodec_send_packet、avcodec_receive_frame。如下所示。 avcodec_decode_video2->compat_decode->avcodec_send_packet、avcodec_recei...
安装 ffmpeg 编解码器
05-11
要安装 ffmpeg 编解码器，可以按照以下步骤进行： 1. 打开终端（Terminal）或命令行界面。 2. 根据你的操作系统，选择对应的安装方法： - 在 Ubuntu 或 Debian 系统中，可以使用以下命令安装： ``` sudo apt-...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

顾文繁

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值