FFmpeg从入门到牛掰（三）：音频解码(decode)讲解

最新推荐文章于 2023-03-05 23:56:49 发布
最新推荐文章于 2023-03-05 23:56:49 发布
阅读量2.2k 收藏 5
点赞数 2
分类专栏： ffmpeg 文章标签： ffmpeg
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/impingo/article/details/103774916
版权

转载请注明出处：https://blog.csdn.net/impingo
项目地址：https://github.com/im-pingo/pingos

音频解码讲解

PCM音频介绍

声音被拾音器采集到之后模拟信号转换成数字信号（PCM 全称是 Pulse-code-modulation），在转换过程中是以固定频率打点转换的，而每个点被称为一个采样。

  • 采样率（Sample Rate）
    采样频率单位：Hz。采样频率越高，音频质量越好，占用空间也越大，上段中已经提到这个概念。例如48000hz采样率，代表的含义就是一秒钟将会产生48000个采样数据，那么播放的时候也要在一秒钟以内将48000个采样数据匀速传递给声卡播放。

  • Sign :
    音频数据是否是有符号的。通常情况下都是有符号的。若是将有符号的数据当做无符号的数据来处理将会使声音听来很刺

  • Sample Size :
    表示每一个采样数据的大小。通常该值为16-bit。
    ffmpeg提供了以下几种选项：

enum AVSampleFormat {
    AV_SAMPLE_FMT_NONE = -1,
    AV_SAMPLE_FMT_U8,          ///< unsigned 8 bits
    AV_SAMPLE_FMT_S16,         ///< signed 16 bits
    AV_SAMPLE_FMT_S32,         ///< signed 32 bits
    AV_SAMPLE_FMT_FLT,         ///< float
    AV_SAMPLE_FMT_DBL,         ///< double

    AV_SAMPLE_FMT_U8P,         ///< unsigned 8 bits, planar
    AV_SAMPLE_FMT_S16P,        ///< signed 16 bits, planar
    AV_SAMPLE_FMT_S32P,        ///< signed 32 bits, planar
    AV_SAMPLE_FMT_FLTP,        ///< float, planar
    AV_SAMPLE_FMT_DBLP,        ///< double, planar
    AV_SAMPLE_FMT_S64,         ///< signed 64 bits
    AV_SAMPLE_FMT_S64P,        ///< signed 64 bits, planar

    AV_SAMPLE_FMT_NB           ///< Number of sample formats. DO NOT USE if linking dynamically
};

  • Byte Ordering :
    字节序指的是little-endian还是big-endian。表示音频数据的存储字节序。通常均为little-endian。

  • Number of Channels :
    标识音频是单声道(mono，1 channel)还是立体声(stereo，2 channels)。

通过以上五个数据我们就可以描述一个PCM数据，播放一个PCM数据需要的就是以上五个数据。

音频编码介绍

通过上面了解到声音信号数字化之后是pcm数据，那么一秒钟将会有多少音频数据产生呢，以48000采样的音频编码为例：

数据长度 = 单个采样大小 * 声道数 * 48000

由此可见pcm的数据量还是非常大的，为了降低数据空间，就需要音频编码算法的协助（对pcm数据压缩），常见的音频编码算法有aac、mp3和opus。
此篇文章始终以aac编码为例进行讲解，aac编码会将1024个采样数据输入给编码器压缩，生成一个aac包，在ffmpeg中可通过结构体AVCodecContext 中的frame_size来指定。
所谓音频解码，就是将aac这类压缩过的数据还原成pcm采样数据的过程。

ffmpeg 函数接口

AVCodec *avcodec_find_decoder(enum AVCodecID id);

AVCodecContext *avcodec_alloc_context3(const AVCodec *codec);

从之前的文章中已经知道，对媒体文件解封装需要创建一个AVFormatContext上下文指针。在解码操作中也是同样的思路，只不过解码需要AVCodecContext 解码上下文指针。
其中AVCodec编码器指针可通过avcodec_find_decoder函数查询获取，每种音频编码都对应一个AVCodec，例如aac编码的AVCodecID就是AV_CODEC_ID_AAC。除了这个函数之外你也可以使用AVCodec *avcodec_find_encoder_by_name(const char *name);函数获取解码器，如
avcodec_find_decoder_by_name(“libopus”);就可以获取到 libopus 解码器。

int avcodec_open2(AVCodecContext *avctx, const AVCodec *codec, AVDictionary **options);

初始化编码器，一定要调用这个函数

int avcodec_send_packet(AVCodecContext *avctx, const AVPacket *avpkt);
int avcodec_receive_frame(AVCodecContext *avctx, AVFrame *frame);

这两个函数要搭配着使用，将AVPacket数据传递给avcodec_send_packet函数，然后从avcodec_receive_frame函数中获取解码后的数据（保存在frame中）

int av_get_bytes_per_sample(enum AVSampleFormat sample_fmt);

这个函数用来返回每个采样有几个字节长度

示例代码

/**
 * @file
 * audio decoding with libavcodec API example
 *
 * @example decode_audio.c
 */

#include <stdio.h>
#include <stdlib.h>
#include <string.h>

#include <libavutil/frame.h>
#include <libavutil/mem.h>

#include <libavcodec/avcodec.h>

#define AUDIO_INBUF_SIZE 20480
#define AUDIO_REFILL_THRESH 4096

static int get_format_from_sample_fmt(const char **fmt,
                                      enum AVSampleFormat sample_fmt)
{
    int i;
    struct sample_fmt_entry {
        enum AVSampleFormat sample_fmt; const char *fmt_be, *fmt_le;
    } sample_fmt_entries[] = {
        { AV_SAMPLE_FMT_U8,  "u8",    "u8"    },
        { AV_SAMPLE_FMT_S16, "s16be", "s16le" },
        { AV_SAMPLE_FMT_S32, "s32be", "s32le" },
        { AV_SAMPLE_FMT_FLT, "f32be", "f32le" },
        { AV_SAMPLE_FMT_DBL, "f64be", "f64le" },
    };
    *fmt = NULL;

    for (i = 0; i < FF_ARRAY_ELEMS(sample_fmt_entries); i++) {
        struct sample_fmt_entry *entry = &sample_fmt_entries[i];
        if (sample_fmt == entry->sample_fmt) {
            *fmt = AV_NE(entry->fmt_be, entry->fmt_le);
            return 0;
        }
    }

    fprintf(stderr,
            "sample format %s is not supported as output format\n",
            av_get_sample_fmt_name(sample_fmt));
    return -1;
}

static void decode(AVCodecContext *dec_ctx, AVPacket *pkt, AVFrame *frame,
                   FILE *outfile)
{
    int i, ch;
    int ret, data_size;

    /* send the packet with the compressed data to the decoder */
    ret = avcodec_send_packet(dec_ctx, pkt);
    if (ret < 0) {
        fprintf(stderr, "Error submitting the packet to the decoder\n");
        exit(1);
    }

    /* read all the output frames (in general there may be any number of them */
    while (ret >= 0) {
        ret = avcodec_receive_frame(dec_ctx, frame);
        if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF)
            return;
        else if (ret < 0) {
            fprintf(stderr, "Error during decoding\n");
            exit(1);
        }
        data_size = av_get_bytes_per_sample(dec_ctx->sample_fmt);
        if (data_size < 0) {
            /* This should not occur, checking just for paranoia */
            fprintf(stderr, "Failed to calculate data size\n");
            exit(1);
        }
        for (i = 0; i < frame->nb_samples; i++)
            for (ch = 0; ch < dec_ctx->channels; ch++)
                fwrite(frame->data[ch] + data_size*i, 1, data_size, outfile);
    }
}

int main(int argc, char **argv)
{
    const char *outfilename, *filename;
    const AVCodec *codec;
    AVCodecContext *c= NULL;
    AVCodecParserContext *parser = NULL;
    int len, ret;
    FILE *f, *outfile;
    uint8_t inbuf[AUDIO_INBUF_SIZE + AV_INPUT_BUFFER_PADDING_SIZE];
    uint8_t *data;
    size_t   data_size;
    AVPacket *pkt;
    AVFrame *decoded_frame = NULL;
    enum AVSampleFormat sfmt;
    int n_channels = 0;
    const char *fmt;

    if (argc <= 2) {
        fprintf(stderr, "Usage: %s <input file> <output file>\n", argv[0]);
        exit(0);
    }
    filename    = argv[1];
    outfilename = argv[2];

    pkt = av_packet_alloc();

    /* find the MPEG audio decoder */
    codec = avcodec_find_decoder(AV_CODEC_ID_MP2);
    if (!codec) {
        fprintf(stderr, "Codec not found\n");
        exit(1);
    }

    parser = av_parser_init(codec->id);
    if (!parser) {
        fprintf(stderr, "Parser not found\n");
        exit(1);
    }

    c = avcodec_alloc_context3(codec);
    if (!c) {
        fprintf(stderr, "Could not allocate audio codec context\n");
        exit(1);
    }

    /* open it */
    if (avcodec_open2(c, codec, NULL) < 0) {
        fprintf(stderr, "Could not open codec\n");
        exit(1);
    }

    f = fopen(filename, "rb");
    if (!f) {
        fprintf(stderr, "Could not open %s\n", filename);
        exit(1);
    }
    outfile = fopen(outfilename, "wb");
    if (!outfile) {
        av_free(c);
        exit(1);
    }

    /* decode until eof */
    data      = inbuf;
    data_size = fread(inbuf, 1, AUDIO_INBUF_SIZE, f);

    while (data_size > 0) {
        if (!decoded_frame) {
            if (!(decoded_frame = av_frame_alloc())) {
                fprintf(stderr, "Could not allocate audio frame\n");
                exit(1);
            }
        }

        ret = av_parser_parse2(parser, c, &pkt->data, &pkt->size,
                               data, data_size,
                               AV_NOPTS_VALUE, AV_NOPTS_VALUE, 0);
        if (ret < 0) {
            fprintf(stderr, "Error while parsing\n");
            exit(1);
        }
        data      += ret;
        data_size -= ret;

        if (pkt->size)
            decode(c, pkt, decoded_frame, outfile);

        if (data_size < AUDIO_REFILL_THRESH) {
            memmove(inbuf, data, data_size);
            data = inbuf;
            len = fread(data + data_size, 1,
                        AUDIO_INBUF_SIZE - data_size, f);
            if (len > 0)
                data_size += len;
        }
    }

    /* flush the decoder */
    pkt->data = NULL;
    pkt->size = 0;
    decode(c, pkt, decoded_frame, outfile);

    /* print output pcm infomations, because there have no metadata of pcm */
    sfmt = c->sample_fmt;

    if (av_sample_fmt_is_planar(sfmt)) {
        const char *packed = av_get_sample_fmt_name(sfmt);
        printf("Warning: the sample format the decoder produced is planar "
               "(%s). This example will output the first channel only.\n",
               packed ? packed : "?");
        sfmt = av_get_packed_sample_fmt(sfmt);
    }

    n_channels = c->channels;
    if ((ret = get_format_from_sample_fmt(&fmt, sfmt)) < 0)
        goto end;

    printf("Play the output audio file with the command:\n"
           "ffplay -f %s -ac %d -ar %d %s\n",
           fmt, n_channels, c->sample_rate,
           outfilename);
end:
    fclose(outfile);
    fclose(f);

    avcodec_free_context(&c);
    av_parser_close(parser);
    av_frame_free(&decoded_frame);
    av_packet_free(&pkt);

    return 0;
}

QQ交流群：697773082

im-pingo
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
pcm_decode
06-02
基于matlab 的pcm译码模块，即完成二进制码转换成幅值是编码的逆过程
FFmpeg从入门到牛掰（四）：音频编码(encode )讲解
impingo的博客
01-01 2489
转载请注明出处：https://blog.csdn.net/impingo 项目地址：https://github.com/im-pingo/pingos 音频编码讲解流程描述函数接口音频编码代码示例 流程描述 上篇文章【FFmpeg从入门到牛掰（三）：音频解码(decode)讲解】介绍了音频解码的过程，所谓解码就是将AAC、mp3这类音频压缩算法处理过的数据还原成pcm数据的过程，那么音频编码就...
ffplay如何通过URLProtocol拉取http数据【源码篇】
wsygyb的博客
11-15 2115
目录概述必备的知识点MediaPlayer的apiMediaPlayer的setDataSource(path: String)流程MediaPlayer::prepare的调用流程MediaPlayer::start的调用流程MediaCodec的生命周期 概述 ffmpeg对于音视频开发的同学想必都不陌生，它作为被普遍认可的编解码开源库，很多播放器都采用它来完成编解码的功能。作为一个Andro...
FFmpeg Decode（解码）
秦城季的博客
01-17 1652
首发地址，会更错 本文来自官方例子doc/examples/decode_audio.c 和 doc/examples/decode_video.c。 FFmpeg解码流程 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wB37NhkP-1610869697159)(11_decode/decode-process.png)] 其中，AVFormatContext、AVPacket等重要的结构体请看：FFmpeg重要结构体（转自雷神） 。 官方例子【Audio】 /** *
基于 MATLAB 的 PCM 编码解码实现
热门推荐
vlaser的小屋
01-12 4万+
文章目录基于 MATLAB 的 PCM 编码解码实现抽样信号PCM 编码PCM 解码失真度分析 基于 MATLAB 的 PCM 编码解码实现 关于 PCM 的原理在此不过多解释，代码使用的是 A 律 13 折线法。 抽样信号 抽样信号的 MATLAB 代码如下： clear; clc; T=0.0005; t=-0.01:T:0.01; fs=2000; sdt=1/fs; t1=-0.01:sd...
pcm_decodeData.m
12-01
pcm_decodeData.m
【开源项目】minimp3 MP3解码器
03-09 3659
【开源项目】minimp3 MP3解码器 简介 minimp3 是一个极简的MP3解码器，它的特点是小巧（只有单个头文件）、快速（支持SSE和NEON）和准确（符合ISO标准）。 LICENSE：CC0-1.0 License 项目地址： https://github.com/lieff/minimp3 该项目中提供了在 i7-6700K 上使用 perf粗略测量的基准测试结果： Vector Hz Samples Sec Clockticks Clockticks per second PSNR
Unity处理MP3流播放
qq_37896049的博客
01-09 3809
Unity处理MP3流播放 PCMReaderCallback回调 Unity音频数据是通过AudioClip去处理的，它提供了PCMReaderCallback回调，用于加载流音频数据。它的声明如下： public static AudioClip Create(string name, int lengthSamples, int channels, int frequency, boo...
Java Mp3转化WAV/PCM音频数据,解码详细解析,提取每一帧数据集合/比特流/播放，一行代码!
m0_61267721的博客
03-05 4132
Mp3转纯PCM音频,解码过程详细解说，因为Java本身只支持,wav,缺少mp3的解码器，所以Java自带的无法对mp3进行处理，这种MPEG-*音频有损压缩标准编码，更不要说使用Java的音频格式和音频流就可以解决...
C语言的mp3解码器源码,【分享2】mp3解码核心代码与文件映射函数在播放中的应用...
weixin_42298927的博客
05-21 484
该楼层疑似违规已被系统折叠隐藏此楼查看此楼本类写文件部分没有测试，读取部分通过测试，也可以用于上一篇的图片解码的文件操作，经测试，解码速度还会加快。#pragma once//写没有测试#include class FileMap{public:enum fmode {read_only, read_write};FileMap();~FileMap();void open(const char...
FFmpeg 从入门到精通
最新发布
01-02
FFmpeg 从入门到精通
C++基于FFmpeg的音频解码和播放
12-17
C++基于FFmpeg的音频解码和播放，使用VS2010编码，本程序实现了音频的解码和播放。可供学习和参考
FFMpeg-decode-example:示例如何使用 ffmpeg 解码视频文件
07-02
FFMpeg-解码示例示例如何使用 ffmpeg 解码视频文件。 链接到关于文章。 。 示例向您展示了基本的 FFmpeg 函数。 示例程序打开视频文件并将前 50 帧存储到磁盘。 您可以更改安装程序的说明： #define FILE_NAME "C:\\...
ffmpeg解码音频并保存PCM项目
01-21
ffmpeg解码音频并保存PCM的简单demo，很有用！ PCM是音频解码后的文件。或者说经过音频经过采样后形成的二进制文件。 对人来说，能听到的是20HZ-20KHZ，这也是次声波和超声波的分界线。 根据采样定理，2倍最高频率就...
Android+FFmpeg+OpenSL ES音频解码播放
03-21
本例使用FFmpeg解码音频文件，并利用OpenSL ES的native接口播放解码后的PCM数据。
ffmpeg推流rtmp的参数设置
impingo的博客
02-03 9798
ffmpeg处理rtmp协议时，指定rtmp里的一些参数
FFmpeg从入门到牛掰（一）：解复用(demux)讲解
impingo的博客
12-24 6038
转载请注明出处：https://blog.csdn.net/impingo 项目地址：https://github.com/im-pingo/pingos 解封装示例使用到的接口 使用到的接口 /** * Open an input stream and read the header. The codecs are not opened. * The stream must be close...
FFmpeg从入门到牛掰（五）：音频重采样(resample)讲解
impingo的博客
01-01 3294
转载请注明出处：https://blog.csdn.net/impingo 项目地址：https://github.com/im-pingo/pingos 音频重采样讲解描述操作流程函数接口示例代码 描述 前两篇文章分别介绍了使用ffmpeg对音频解码和编码的过程，但是实际音频转码过程中我们大多情况下需要对声道数（channels）采样率（sample rate）采样长度（AVSampleForm...
FFmpeg从入门到入魔
10-20
下面是FFmpeg从入门到入魔的步骤： 1.了解FFmpeg的基本概念和架构，包括FFmpeg的整体架构、各个模块的功能以及数据结构体和相关函数。 2.学习FFmpeg的编译和安装，包括在不同平台上的编译和安装方法。 3.学习...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值