基于FFMPEG和SDL2的音视频直播功能制作-------7.1关于释放资源问题(补充)

前言：

最近在进行一个PC对PC端的直播功能的研发，主要需要实现从PC端捕获桌面处理成H264视频流，以及采集PC端的扬声器的声音处理成AAC音频流，通过RTMP推流到服务器端中，然后客户端可以从服务器中拉流并播放视频，最终实现直播的功能。该项目主要运用到FFMPEG实现音视频的编解码和拉流，使用SDL进行对音视频的播放。

在实现该功能的过程中，总共可以分为如下几个模块：

1、音频的采集、编码；

2、桌面捕获和图像编码；

3、音视频的同步及推流（核心）；

4、音视频的拉流及解码；

5、音视频同步播放（核心）；

其中音视频编解码是项目的基础，音视频的同步是项目的核心，在后续的文章中将分章节讲述该项目实现的过程。

---

上一小节讲了一些关于内存释放的需要注意的地方和思路，这一小节是针对上一小节关于FFMPEG的函数中有些函数需要注意需要自己释放内存的细节：

(1)int av_read_frame(AVFormatContext *s, AVPacket *pkt)

这个函数一般是用来读取文件或者网络中的数据，而此时读取后的数据是保存到pkt里面的，我们在调用这个函数之前可以仅仅使用如下代码来初始化packet，同时不用为packet分配它的packet->data的内存空间：

packet = (AVPacket *)av_malloc(sizeof(AVPacket));

或者

AVPacket pkt = { 0 }

亦或

AVPacket packet;
av_init_packet(&packet);

但是当我们使用上述初始化后的packet，然后使用如下代码后，注意一点就是av_read_frame（）这个函数内部会为packet->data分配内存空间，此时我们需要注意每读一次数据需要释放一次，否则会造成内存泄漏。

av_read_frame(pFormatCtx, packet);

如下是一个获取网络rtmp数据的循环，其中每次读取完后需要释放packet->data的数据，用到的释放资源的函数是:

/*释放packet->data的函数*/
void av_packet_unref(AVPacket *pkt);

下面是获取网络数据的循环代码事例：

/*获取网络数据循环的事例代码*/
for (;;)
	{
		//------------------------------
		if (av_read_frame(pFormatCtx, packet) >= 0)
		{
			if (packet->stream_index == videoindex)
			{
				if ((ret = my_av_bsf_filter(pavBitStFilter, packet, pFormatCtx->streams[videoindex]->codecpar)) != 1)// 添加pps sps（RTMP需要）
				{
					/*len = 0;*/
					printf("vedio my_av_bsf_filter error\n");
					av_packet_unref(packet);//注意释放av_read_frame()后的packet的data的内存资源，否则引起内存泄漏
					av_free(packet);//释放资源
					return false;
				}

				Flv_Sdl_Player_Decode_Play_Flv(packet->data, packet->size, packet->pts);	
			}
			av_packet_unref(packet);//注意释放av_read_frame()后的packet的data的内存资源，否则引起内存泄漏
			//av_free_packet(packet);
		}
		av_packet_unref(packet);//注意释放av_read_frame()后的packet的data的内存资源，否则引起内存泄漏
	}

(2)int avcodec_decode_audio4(AVCodecContext *avctx, AVFrame *frame, int *got_frame_ptr, const AVPacket *avpkt)

和avcodec_decode_video2(AVCodecContext *avctx, AVFrame *picture,                           int *got_picture_ptr,const AVPacket *avpkt)

相信如果接触过FFMPEG音视频编解码的你们，对两个函数肯定不陌生，这两个函数就是分别是对音频和视频的解码函数，其中这两个函数都有一个相同类型的参数AVFrame *frame和AVFrame *picture，这两个参数都是用来保存解码后的数据的。

其中音视频解码后的数据保存在在AVFrame这个类型变量的data成员中，而这个AVFrame *frame和AVFrame *picture也跟上面(1)中讲解的packet一样，可以先不用为data分配内存空间，然后通过调用avcodec_decode_audio4（）和avcodec_decode_video2（）的时候，函数内部就为AVFrame的data分配内存空间了。

所以说我们在调用完上面两个函数的中任何一个后，记得需要释放data的资源，否则会造成内存泄漏，为音视频编解码等运行的情况带来不可估量的影响，例如运行着突然崩掉的情况等。

释放AVFrame *frame的data内存空间需要使用函数：

void av_frame_unref(AVFrame  *frame);

如下给出avcodec_decode_video2（）调用后释放内存的例子，需要注意就是意外退出函数也需要释放资源：

for (;;)
	{
		memset(frame->data, 0, frame->nb_samples);
		ret = avcodec_decode_audio4(cod_ctx, frame, &got_picture, packet);
		if (ret < 0) {

			//释放资源
			av_frame_unref(frame);//释放avcodec_decode_audio4(, frame, , );的data中的资源
			av_packet_free(&packet);//释放av_packet_alloc
			printf("decode error\n");
			return -1;
		}

		if (got_picture > 0) 
		{
			//转码
			ret = swr_convert(convert_ctx, &buffer, MAX_AUDIO_FRAME_SIZE, (const uint8_t **)frame->data, frame->nb_samples);
			if (ret < 0)
			{
				//释放资源
				av_frame_unref(frame);//释放avcodec_decode_audio4(, frame, , );的data中的资源
				av_packet_free(&packet);
				printf("audio swr_convert error\n");
			}

			//将解码后的数据存放到链表中
			list_rtmp_data_ptr list_tmp = (list_rtmp_data_ptr)malloc(sizeof(list_rtmp_data_node));
			av_init_packet(&(list_tmp->packet));
			av_new_packet(&(list_tmp->packet), (MAX_AUDIO_FRAME_SIZE * 2) );
			memcpy(list_tmp->packet.data, buffer, (MAX_AUDIO_FRAME_SIZE * 2));
			list_tmp->packet.size = (MAX_AUDIO_FRAME_SIZE * 2);
			list_tmp->pts = pts;

			ret = list_insert_rtmp_data(list_audio_head, list_tmp);	//插入数据
			if (ret < 0)
			{
				//释放资源
				av_frame_unref(frame);//释放avcodec_decode_audio4(, frame, , );的data中的资源
				av_packet_unref(&(list_tmp->packet));
				av_packet_free(&packet);
				printf("insert list_tmp error\n");
				getchar();
				return -1;
			}
		}
			break;
	
	}

每写一篇文章都不容易，尊重别人的知识产权才是对自己和技术的尊重。为了避免发生知识产权被侵权的情况，我决定做出以下声明：

1.博客中标注原创的文章，版权归原作者 吴豪乐工作室 所有；

2.未经原作者允许不得转载本文内容，否则将视为侵权；

3.转载或者引用本文内容请注明来源及原作者；

4.对于不遵守此声明或者其他违法使用本文内容者，本人依法保留追究权等。