音视频学习(十八)——使用ffmepg实现视音频解码

最新推荐文章于 2024-05-06 10:05:52 发布

却道天凉_好个秋

最新推荐文章于 2024-05-06 10:05:52 发布

阅读量585

点赞数

分类专栏：音视频学习文章标签：音视频 c++

本文链接：https://blog.csdn.net/www_dong/article/details/134484494

版权

音视频学习专栏收录该内容

30 篇文章 34 订阅

订阅专栏

视频解码

初始化

视频常用的编解码器id定义（以h264和h265为例）

// 定义在ffmpeg\include\libavcodec\avcodec.h
AV_CODEC_ID_H264
AV_CODEC_ID_H265

查找解码器：根据编解码id查看解码器

AVCodec* pCodecVideo = avcodec_find_decoder(codecID);
if (!pCodecVideo)
{
    printf("avcodec_find_decoder failed\n");
    return -1;
}

申请编码器上下文结构体内存，保存了视频编解码相关信息

AVCodecContext* pCodecCtxVideo = avcodec_alloc_context3(pCodecVideo);
if (!pCodecCtxVideo)
{
    printf("avcodec_alloc_context3 error\n");
    return -1;
}

打开解码器

if (avcodec_open2(pCodecCtxVideo, pCodecVideo, NULL) < 0)
{
    printf("avcodec_open2 failed\n");
    return -1;
}

申请帧内存：存储一帧解码后像素（采样）数据

AVFrame* pFrameVideo = av_frame_alloc(); 
if (!pFrameVideo)
{
    printf("av_frame_alloc failed\n");
    return -1;
}

视频解码

解码一帧压缩数据

// data和len为压缩数据的指针和大小

AVPacket packet;
av_init_packet(&packet);
packet.data = (uint8_t*)data;
packet.size = len;

int got_picture = 0;
if (avcodec_decode_video2(pCodecCtxVideo, pFrameVideo, &got_picture, &packet) < 0)
{
    printf("avcodec_decode_video2 failed\n");
    return -1;
}

获取帧大小

// 以YUV420为例
int frameSize = avpicture_get_size(AV_PIX_FMT_YUV420P, pFrameVideo->linesize[0], pFrameVideo->height);

获取上下文，获取用于转码的参数**（初始化一次）**

// pFrameVideo->width：输入帧数据宽
// pFrameVideo->height：输入帧数据高
// pCodecCtxVideo->pix_fmt：帧数据格式
// pFrameVideo->width：输出帧数据宽
// pFrameVideo->height：输出帧数据高
// AV_PIX_FMT_YUV420P：输出帧数据格式,例如YUV420、RGB32等
// SWS_BICUBIC：视频像素数据格式转换算法类型
SwsContext* imgConvertCtx = sws_getContext(pFrameVideo->width, 
                                 pFrameVideo->height,
                                 pCodecCtxVideo->pix_fmt,
								 pFrameVideo->width, 
                                 pFrameVideo->height, 
                                 AV_PIX_FMT_YUV420P, 
                                 SWS_BICUBIC, NULL, NULL, NULL);

缓冲区分配缓存**（初始化一次）**

int frameSize = avpicture_get_size(AV_PIX_FMT_YUV420P, pFrameVideo->width, pFrameVideo->height);
AVFrame* picture = av_frame_alloc();
uint8_t* pictureBuf = new uint8_t[frameSize];

初始化缓冲区**（初始化一次）**

avpicture_fill((AVPicture *)m_picture, m_pictureBuf, AV_PIX_FMT_YUV420P, pFrameVideo->width, pFrameVideo->height);

图片转换**（针对实时流或读取的文件流，循环调用）**

sws_scale(imgConvertCtx, (const uint8_t* const*)pFrameVideo->data, pFrameVideo->linesize, 0, pFrameVideo->height, picture->data, picture->linesize);

解码关闭

if (nullptr != pCodecCtxVideo)
{
    avcodec_close(pCodecCtxVideo);
    av_free(pCodecCtxVideo);
    pCodecCtxVideo = nullptr;
}

if (nullptr != pFrameVideo)
{
    av_frame_free(&pFrameVideo);
    pFrameVideo = nullptr;
}

if (nullptr != picture)
{
    av_frame_free(&picture);
    picture = nullptr;
}

if (nullptr != pictureBuf)
{
    delete[] pictureBuf;
    pictureBuf = nullptr;
}

if (nullptr != imgConvertCtx)
{
    sws_freeContext(imgConvertCtx);
    imgConvertCtx = nullptr;
}

音频解码

初始化

音频常用的编解码器id定义

AV_CODEC_ID_PCM_ALAW
AV_CODEC_ID_PCM_MULAW
AV_CODEC_ID_FIRST_AUDIO
AV_CODEC_ID_AAC

查找解码器：根据编解码id查看解码器

AVCodec* pCodecAudio = avcodec_find_decoder(codecID);
if (!pCodecAudio)
{
    printf("audio avcodec_find_decoder failed\n");
    return -1;
}

申请编码器上下文结构体内存，保存了音频编解码相关信息

AVCodecContext* pCodecCtxAudio = avcodec_alloc_context3(pCodecAudio);
if (!pCodecCtxAudio)
{
    printf("audio avcodec_alloc_context3 failed\n");
    return -1;
}

打开解码器

int audioCodecType = (int)codec;
switch (audioCodecType)
{
    case CODEC_AUDIO_AAC:
        break;
    case CODEC_AUDIO_MP3:
        break;
    case CODEC_AUDIO_G711:
    case CODEC_AUDIO_G711U:
        pCodecCtxAudio->codec_type = AVMEDIA_TYPE_AUDIO;
        pCodecCtxAudio->sample_fmt = AV_SAMPLE_FMT_S16;
        pCodecCtxAudio->sample_rate = 8000;
        pCodecCtxAudio->channel_layout = AV_CH_LAYOUT_MONO;
        pCodecCtxAudio->channels = 1;
        break;
    case CODEC_AUDIO_G7231:
        break;
    case CODEC_AUDIO_G7221:
        break;
    default:
        break;
}

pCodecCtxAudio->codec_id = codecID;
int ret = avcodec_open2(pCodecCtxAudio, pCodecAudio, NULL);
if (ret < 0)
{
    printf("audio avcodec_open2 failed\n");
    return -1;
}

申请内存和初始化参数

AVFrame* frameAudio = av_frame_alloc();
if (!frameAudio)
{
    printf("audio av_frame_alloc failed\n");
    return -1;
}

AVPacket* audioPacket = av_packet_alloc();
if (!audioPacket)
{
    printf("av_packet_alloc failed\n");
    return -1;
}
av_init_packet(audioPacket);

音频解码

解码一帧音频数据

audioPacket->data = (uint8_t*)data;
audioPacket->size = datalen;

int ret = avcodec_send_packet(m_pCodecCtxAudio, m_audioPacket);
if (ret < 0) 
{
    av_packet_unref(audioPacket);
    printf("audio avcodec_send_packet failed\n");
    return -1;
}

接收一帧数据

ret = avcodec_receive_frame(m_pCodecCtxAudio, m_frameAudio);
if (ret < 0)
{
    return -1;
}

设置输入和输出音频信息**（执行一次）**

// 分配SwrContext
SwrContext* audioSwrCtx = swr_alloc();
int channelLayout = av_get_default_channel_layout(frameAudio->channels);

// audioSwrCtx：重采样申请的内存。如果传NULL，内部会申请一块内存，非NULL可以复用之前的内存
// AV_CH_LAYOUT_MONO：目标声道
// AV_SAMPLE_FMT_S16：目标采样格式
// frameAudio->sample_rate：目标采样率
// channelLayout：原始声道布局
// pCodecCtxAudio->sample_fmt：原始采样格式
// frameAudio->sample_rate：原始采样率
// 设置输入和输出的音频信息
swr_alloc_set_opts(audioSwrCtx, 
                   AV_CH_LAYOUT_MONO, 
                   AV_SAMPLE_FMT_S16,
                   frameAudio->sample_rate,
                   channelLayout, 
                   pCodecCtxAudio->sample_fmt, 
                   frameAudio->sample_rate, 0, NULL);

// 设置用户参数后初始化上下文
swr_init(audioSwrCtx);

重采样转换（循环执行）

// audioSwrCtx：音频重采样的上下文
// audioBuffer：输出的指针。传递的输出的数组
// 1024*256：输出的样本数量，不是字节数。单通道的样本数量。
// (const uint8_t**)frameAudio->data：输入的数组，AVFrame解码出来的DATA
// frameAudio->nb_samples：输入的单通道的样本数量。
// 以单声道为例
int len = swr_convert(audioSwrCtx, 
                      &audioBuffer, 
                      1024*256,
			          (const uint8_t**)frameAudio->data,
			          frameAudio->nb_samples);

// 获取音频大小
av_get_channel_layout_nb_channels(AV_CH_LAYOUT_MONO);
int bufSize = av_samples_get_buffer_size(NULL, 
                           av_get_channel_layout_nb_channels(AV_CH_LAYOUT_MONO),
						   frameAudio->nb_samples,
			               AV_SAMPLE_FMT_S16, 
                           0);

解码关闭

if (nullptr != pCodecCtxAudio)
{
    avcodec_close(pCodecCtxAudio);
    av_free(pCodecCtxAudio);
    pCodecCtxAudio = nullptr;
}

if (nullptr != frameAudio)
{
    av_frame_free(&frameAudio);
    frameAudio = nullptr;
}

if (nullptr != audioPacket)
{
    av_packet_unref(audioPacket);
    av_packet_free(&audioPacket);
    audioPacket = nullptr;
}

if (nullptr != audioSwrCtx)
{
    swr_free(&audioSwrCtx);
    audioSwrCtx = nullptr;
}

// 其他资源释放