FFMPEG 声音格式转换

最新推荐文章于 2024-09-17 20:43:38 发布
最新推荐文章于 2024-09-17 20:43:38 发布
阅读量1.5k 收藏 2
点赞数


http://bbs.csdn.net/topics/390700255?page=1


ffmpeg版本更新近一年跟打了鸡血一样，刷刷刷的往上升（貌似现在很多软件版本升级都相当快，而且都是大版本升级），应用软件也就算了，升就升吧，最多新版可能运行速度稍慢些，可API的版本升级太快，对开发来说，就不是一件让人愉快的事。
用ffmpeg也有快两年的时间，前段时间将项目中的ffmpeg库从1.0升级到了2.1（老实说，这样升级API库风险太大），发现不少API发生了变化，以前项目中写的音频编码部分完全不能工作了，认真研究了两天，才发现，新版的ffmpeg对音频编码处理已经有了很大的变化，记录在此，做个备忘。
早期ffmpeg编码音频，输入数据一般都是S16格式，解码输出一般也是S16，也就是说PCM数据是存储在连续的buffer中，对一个双声道（左右）音频来说，存储格式可能就为
LRLRLR.........（左声道在前还是右声道在前没有认真研究过）。所以以往编码部分的代码基本形如：

    int sample_bytes = av_get_bytes_per_sample(pCodecCtx->sample_fmt);

    int frame_bytes = pCodecCtx->frame_size * sample_bytes * pCodecCtx->channels;

   // AVFifoBuffer* fifo;    存放pcm数据
    while(av_fifo_size(fifo) >= frame_bytes) {
        av_fifo_generic_read(fifo, inputBuf, frame_bytes, NULL);

        AVPacket pkt = {0};
        av_init_packet(&pkt);
        pkt.data = encodeBuf;
        pkt.size = AVCODEC_MAX_AUDIO_FRAME_SIZE;
        int got_packet = 0;

        audioframe->nb_samples = pCodecCtx->frame_size;
        int samples_size = av_samples_get_buffer_size(NULL, pCodecCtx->channels,
                                                  audioframe->nb_samples,
                                                  pCodecCtx->sample_fmt, 0);
        avcodec_fill_audio_frame(audioframe, pCodecCtx->channels, pCodecCtx->sample_fmt,
                inputBuf, samples_size, 0);
        audioframe->pts = audio_sync_opts;
        audio_sync_opts = audioframe->pts + audioframe->nb_samples;

        avcodec_encode_audio2(pCodecCtx, &pkt, audioframe, &got_packet);
        if (got_packet ) {
            //处理pkt，封装存储、流输出或交由上层应用
        }

    }
项目中需要对音视频流进行转码输出，音频处理部分一般是先解码（得到PCM S16数据），再交由编码（MP3、AAC）

ffmpeg升级到2.1后（具体哪个版本开始的没去查，可能早几个版本就已经这样做了），音频格式增加了plane概念（呃，不是灰机，是平面）
enum AVSampleFormat {
    AV_SAMPLE_FMT_NONE = -1,
    AV_SAMPLE_FMT_U8,          ///< unsigned 8 bits
    AV_SAMPLE_FMT_S16,         ///< signed 16 bits
    AV_SAMPLE_FMT_S32,         ///< signed 32 bits
    AV_SAMPLE_FMT_FLT,         ///< float
    AV_SAMPLE_FMT_DBL,         ///< double

// 以下都是带平面格式
    AV_SAMPLE_FMT_U8P,         ///< unsigned 8 bits, planar
    AV_SAMPLE_FMT_S16P,        ///< signed 16 bits, planar
    AV_SAMPLE_FMT_S32P,        ///< signed 32 bits, planar
    AV_SAMPLE_FMT_FLTP,        ///< float, planar
    AV_SAMPLE_FMT_DBLP,        ///< double, planar

    AV_SAMPLE_FMT_NB           ///< Number of sample formats. DO NOT USE if linking dynamically
};
这就有点像视频部分的YUV数据，有的带P，有的是不带P的，同样对双声道音频PCM数据，以S16P为例，存储就可能是
plane 0: LLLLLLLLLLLLLLLLLLLLLLLLLL...
plane 1: RRRRRRRRRRRRRRRRRRRRRRRRRR...
而不再是以前的连续buffer。
如mp3编码就明确规定了只使用平面格式的数据
AVCodec ff_libmp3lame_encoder = {
.....
    .capabilities          = CODEC_CAP_DELAY | CODEC_CAP_SMALL_LAST_FRAME,
    .sample_fmts           = (const enum AVSampleFormat[]) { AV_SAMPLE_FMT_S32P,
                                                             AV_SAMPLE_FMT_FLTP,
                                                             AV_SAMPLE_FMT_S16P,
                                                             AV_SAMPLE_FMT_NONE },
....
};
而AAC编码依旧使用 AV_SAMPLE_FMT_S16格式
也就说，音频编码不能再像以前那样简单的处理，统一输入S16数据，而要根据具体的codec转化为其支持的格式，否则无论是编码还是解码输出的声音会莫名其妙，幸好，转换工作不用自己做，ffmpeg提供了相应的API，swr_convert（类似以前的audio_resample，只是audio_resample目前已不再推荐使用，因为swr_convert更强大）
基于此，对音频编码部分做了相应修改，主要用的数据结构为 struct SwrContext* m_SwrCtx;
step 1：判断是否需要进行convert，初始化阶段
if (pCodecCtx->channels != pInputCtx->channels
|| pCodecCtx->sample_rate != pInputCtx->sample_rate
|| pCodecCtx->sample_fmt != pInputCtx->sample_fmt)
{
u::Log::write(get_log_file(), "Audio need resample!");
if ( NULL == m_SwrCtx ) {
m_SwrCtx = swr_alloc();
}
#if LIBSWRESAMPLE_VERSION_MINOR >= 17 // 根据版本不同，选用适当函数
av_opt_set_int(m_SwrCtx, "ich", pInputCtx->channels, 0);
av_opt_set_int(m_SwrCtx, "och", pCodecCtx->channels, 0);
av_opt_set_int(m_SwrCtx, "in_sample_rate",  pInputCtx->sample_rate, 0);
av_opt_set_int(m_SwrCtx, "out_sample_rate",  pCodecCtx->sample_rate, 0);
av_opt_set_sample_fmt(m_SwrCtx, "in_sample_fmt", pInputCtx->sample_fmt, 0);
av_opt_set_sample_fmt(m_SwrCtx, "out_sample_fmt", pCodecCtx->sample_fmt, 0);

#else
m_SwrCtx = swr_alloc_set_opts(m_SwrCtx,
pInputCtx->channel_layout, AV_SAMPLE_FMT_S16, pInputCtx->sample_rate,
pInputCtx->channel_layout, pInputCtx->sample_fmt, pInputCtx->sample_rate,
0, NULL);
#endif
swr_init(m_SwrCtx);
if (av_sample_fmt_is_planar(pCodecCtx->sample_fmt)) {
//如果是分平面数据，为每一声道分配一个fifo，单独存储各平面数据
for (int i = 0; i < pCodecCtx->channels; i++){
m_fifo[i] = av_fifo_alloc(BUF_SIZE_20K);
}
} else {
//不分平面，所有的数据只要一个fifo就够了，其实用不用fifo完全看个人了，只是我觉得方便些
fifo = av_fifo_alloc(BUF_SIZE_20K);
}

}

step 2：进行转换
//以下代码部分抄自ffmpeg自带的例子
if (m_SwrCtx != NULL) {
if ( !m_audioOut ) {
ret = av_samples_alloc_array_and_samples(&m_audioOut,
&dst_samples_linesize, pCodecCtx->channels, max_dst_nb_samples, pCodecCtx->sample_fmt, 0);
if (ret < 0){
av_log(NULL, AV_LOG_WARNING, "[%s.%d %s() Could not allocate destination samples\n", __FILE__, __LINE__, __FUNCTION__);
return -1;
}
}

dst_nb_samples = av_rescale_rnd(swr_get_delay(m_SwrCtx, pCodecCtx->sample_rate) + src_nb_samples,
pCodecCtx->sample_rate, pCodecCtx->sample_rate, AV_ROUND_UP);
if (dst_nb_samples > max_dst_nb_samples) {
av_free(m_audioOut[0]);
ret = av_samples_alloc(m_audioOut, &dst_samples_linesize, pCodecCtx->channels, dst_nb_samples, pCodecCtx->sample_fmt, 0);
if (ret < 0){
av_log(NULL, AV_LOG_WARNING, "[%s.%d %s() Could not allocate samples Buffer\n", __FILE__, __LINE__, __FUNCTION__);
return -1;
}
max_dst_nb_samples = dst_nb_samples;
}

//输入也可能是分平面的，所以要做如下处理
uint8_t* m_ain[SWR_CH_MAX];
setup_array(m_ain, (uint8_t*)input_buf, data->ctx.sample_fmt, src_nb_samples);

len = swr_convert(m_SwrCtx, m_audioOut, dst_nb_samples, (const uint8_t**)m_ain, src_nb_samples);

if (len < 0) {
char errmsg[BUF_SIZE_1K];
av_strerror(len, errmsg, sizeof(errmsg));
av_log(NULL, AV_LOG_WARNING, "[%s:%d] swr_convert!(%d)(%s)", __FILE__, __LINE__, len, errmsg);
return -1;
}

paudiobuf = m_audioOut[0];
decode_size = len * pCodecCtx->channels * av_get_bytes_per_sample(pCodecCtx->sample_fmt);

} else {
paudiobuf = (uint8_t*)input_buf;
decode_size = input_size;
}

//存储PCM数据，注意：m_SwrCtx即使进行了转换，也要判断转换后的数据是否分平面
if (m_SwrCtx && av_sample_fmt_is_planar(pCodecCtx->sample_fmt) ) {
for (int i = 0; i < pCodecCtx->channels; i++){
if (av_fifo_realloc2(m_fifo[i], av_fifo_size(m_fifo[i]) + len*av_get_bytes_per_sample(pCodecCtx->sample_fmt)) < 0){
av_log(NULL, AV_LOG_FATAL, "av_fifo_realloc2() failed\n");
return -1;
}
av_fifo_generic_write(m_fifo[i], m_audioOut[0]+i*dst_samples_linesize, len*av_get_bytes_per_sample(pCodecCtx->sample_fmt), NULL);
}
} else {
if (av_fifo_realloc2(fifo, av_fifo_size(fifo) + decode_size) < 0) {
av_log(NULL, AV_LOG_FATAL, "av_fifo_realloc2() failed\n");
return -1;
}
av_fifo_generic_write(fifo, paudiobuf, decode_size, NULL);
}


setup_array函数摘自ffmpeg例程
static void setup_array(uint8_t* out[SWR_CH_MAX], uint8_t* in, int format, int samples){
if (av_sample_fmt_is_planar((AVSampleFormat)format)) {
int i;
int plane_size = av_get_bytes_per_sample((AVSampleFormat)(format & 0xFF)) * samples;
format &= 0xFF;
for (i = 0; i < SWR_CH_MAX; i++) {
out[i] = in + i*plane_size;
}
} else {
out[0] = in;
}
}

step 3：进行编码
//编码格式要求是分平面数据
if (m_SwrCtx && ( av_sample_fmt_is_planar(pCodecCtx->sample_fmt) )) {
  //这里为简单示例，只判断第一个声道（因为左右声道数据大小是一致的），实际应用中应考虑每个声道具体情况
while(av_fifo_size(m_fifo[0]) >= pCodecCtx->frame_size * sample_bytes){
for (int i = 0; i < pCodecCtx->channels; i++) {
  //inputBuf是一块连续内存
av_fifo_generic_read(m_fifo[i], inputBuf+i*pCodecCtx->frame_size * sample_bytes, pCodecCtx->frame_size * sample_bytes, NULL);
}
AVPacket pkt = {0};
av_init_packet(&pkt);
pkt.data = encodeBuf;
pkt.size = AVCODEC_MAX_AUDIO_FRAME_SIZE;
int got_packet = 0;

audioframe->nb_samples = pCodecCtx->frame_size;
int samples_size = av_samples_get_buffer_size(NULL, pCodecCtx->channels,
                                                  audioframe->nb_samples,
                                                  pCodecCtx->sample_fmt, 0);
avcodec_fill_audio_frame(audioframe, pCodecCtx->channels, pCodecCtx->sample_fmt,
inputBuf, samples_size, 0);

int ret = avcodec_encode_audio2(pCodecCtx, &pkt, audioframe, &got_packet);

if (got_packet ) {
//处理pkt
}

}

} else {
//不分平面
while(av_fifo_size(fifo) >= frame_bytes) {
av_fifo_generic_read(fifo, inputBuf, frame_bytes, NULL);

AVPacket pkt = {0};
av_init_packet(&pkt);
pkt.data = encodeBuf;
pkt.size = AVCODEC_MAX_AUDIO_FRAME_SIZE;
int got_packet = 0;

audioframe->nb_samples = pCodecCtx->frame_size;
int samples_size = av_samples_get_buffer_size(NULL, pCodecCtx->channels,
                                                  audioframe->nb_samples,
                                                  pCodecCtx->sample_fmt, 0);

avcodec_fill_audio_frame(audioframe, pCodecCtx->channels, pCodecCtx->sample_fmt,
inputBuf, samples_size, 0);

int ret = avcodec_encode_audio2(pCodecCtx, &pkt, audioframe, &got_packet);

if (got_packet ) {
//处理pkt
}

}
}


另：
对于解码也可能需要做swr_convert，比如做播放器，很多时候我们是将S16格式数据丢给声卡，而新版ffmpeg解码音频输出的格式可能不满足S16，如AAC解码后得到的是FLT（浮点型），AC3解码是FLTP（带平面）等，需要根据具体的情况决定是否需要convert，转换过程与上类似

gongxp123456
关注
13.FFmpeg学习笔记 - 解复用和解码(旧的解码API)
周洪伟的博客
07-03 750
本篇文章，输入一个视频文件，分离出解码后的音视频数据，然后分别写入文件当中。 入口是：demux_decode函数。 下一篇文章会对以下代码中的一些关键函数做以说明。 #include <libavcodec/avcodec.h> #include <libavformat/avformat.h> #include <libswscale/swscale....
教你如何用ffmpeg处理音频格式转换（标贝科技）
DataBaker的博客
11-03 7895
文章目录前言ffmpeg介绍？一、下载与安装1.下载安装包2.设置环境变量3.验证是否安装成功二、命令讲解1 参数解释2 音频格式转换命令三、标贝开放平台介绍 前言 ffmpeg介绍？ FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。采用LGPL或GPL许可证。它提供了录制、转换以及流化音视频的完整解决方案（本章介绍：ffmpeg的安装及音频转换命令使用） 一、下载与安装 1.下载安装包 ffmpeg官网地址：https://ffmpeg.org/downlo..
最新版FFMPEG解码流程
10-31
详细描述了FFMPEG的开发过程与各个函数的使用方法
新版FFmpeg音频编解码处理
dong_mingyi的专栏
07-31 2971
ffmpeg版本更新近一年跟打了鸡血一样，刷刷刷的往上升（貌似现在很多软件版本升级都相当快，而且都是大版本升级），应用软件也就算了，升就升吧，最多新版可能运行速度稍慢些，可API的版本升级太快，对开发来说，就不是一件让人愉快的事。 用ffmpeg也有快两年的时间，前段时间将项目中的ffmpeg库从1.0升级到了2.1（老实说，这样升级API库风险太大），发现不少API发生了变化，以前项目中写的音
[ffmpeg]音频格式转换
最新发布
dss875914213的博客
09-17 860
本文主要梳理 ffmpeg 中的音频格式转换。由于采集的音频数据和编码器支持的音频格式可能不一样，所以经常需要进行格式转换。
FFmpeg新版本(2016年10月份以后) 支持硬件解码
weixin_34409703的博客
06-09 1302
FFmpeg provides a subsystem for hardware acceleration. Hardware acceleration allows to use specific devices (usually graphical card or other specific devices) to perform multimedia processing. This a...
最新FFMPEG解码流程
zhanjianshinian的专栏
07-24 1712
FFMPEG解码流程：   1. 注册所有容器格式和CODEC:  av_register_all()   2. 打开文件:                    av_open_input_file()   3. 从文件中提取流信息:          av_find_stream_info()   4. 穷举所有的流，查找其中种类为CODEC_TYPE_VIDEO   5. 查找对应
基于QT的Ffmpeg抽取音频、视频、格式转换
08-15
在这个场景中，我们将讨论如何结合`Qt`框架来利用`FFmpeg`的功能，实现音频、视频的抽取和格式转换。 `Qt`是一个跨平台的应用程序开发框架，广泛用于创建图形用户界面和其他应用程序。将`FFmpeg`与`Qt`结合，可以...
使用ffmpeg 将avi 文件转换为MP4 不进行编解码工作，只做封装格式转换
06-23
所以这里我在做封装格式转换时过滤掉了avi文件中的音频流，只转换视频流。这样操作在转换包含音频流的avi文件时就不会在报错。当然缺点是转换完成之后就没有声音了。现阶段先这样下一步计划好好学学ffmpeg。
ffmpeg视频格式转换并解决标题乱码问题
靛羽风莲素还真的博客
06-13 1712
几年前拷贝了一部rmvb格式的电视剧，由于某些播放器快进的时候会出现声音和画面不同步的现象，所以打算转换一下格式，之前由于某些原因了解了ffmpeg，ffmpeg的功能十分强大 视频剪辑、合成，音频提取、合成。拉流、推流，录屏等 推流、录屏(需要安装一些辅助软件，如: Screen Capturer Recorder v0.12.10）， 虽然只有10集，但是每个文件单独转换也比较麻烦，所以用python简单写几行代码自动转换。 # -*- coding: utf-8 -*- # @Time: 2020/5
微信小程序语音使用ffmpeg进行格式转换
baidu_36720706的博客
02-22 4806
ffmpeg是一个对音频、视频文件进行格式转换便捷的软件，使用起来也十分简易。在使用ffmpeg对微信小程序语音进行格式转换时也遇到了一些小问题，在此作出记录。如果已经安转了ffmpeg，则可直接忽略安装的步骤，我是参考（https://www.cnblogs.com/cheng5x/p/5646920.html）安装成功的。以下写了一个将mp3转换成pcm的方法。    /**   * MP...
AV_SAMPLE_FMT_FLTP转为AV_SAMPLE_FMT_S16P(ffmpeg)
03-09
AV_SAMPLE_FMT_FLTP转为AV_SAMPLE_FMT_S16P(ffmpeg)，在使用ffmpeg解码aac的时候，如果使用avcodec_decode_audio4函数解码，那么解码出来的会是AV_SAMPLE_FMT_FLTP 格式的数据( float, 4bit , planar), 如果我们希望得到16bit的数据（如AV_SAMPLE_FMT_S16P数据），那么我们需要转换一下: 解決方式： 將 samples 由 32bits 转为16bits. 参考 ffmpeg samplefmt.h 若 sample 是 AV_SAMPLE_FMT_FLTP，則 sample 會是 float 格式，且值域为 [-1.0, 1.0] 若 sample 是 AV_SAMPLE_FMT_S16， 則 sample 會是 int16 格式，且值域为 [-32767, +32767]
FFmpeg如何进行简单的音频转换
纸上得来终觉浅，绝知此事要躬行
01-15 2475
英文原文：https://www.howtoforge.com/tutorial/ffmpeg-audio-conversion/这里有一个简单的FFmpeg，它将如何涵盖框架的一部分功能。 我们将看到如何使用终端来执行各种音频文件类型（包括所有流行和广泛可用的格式）的简单转换。 在终端上使用FFmpeg，与下载和安装FFmpeg的GUI工具相比，性能更好，并且可以为高级用户提供更精确的设置。从音
音视频开源基础 - ffmpeg命令
qq_52703909的博客
03-23 2939
一、ffmpeg、ffplay、ffprobe区别 ffmpeg：超快音视频编码器（类似爱剪辑） ffplay：简单媒体播放器 ffprobe：简单多媒体流分析器 二、帮助文档查看 2.1 ffmpeg查看帮助文档 基本信息：ffmpeg -h 高级信息：ffmpeg -h long 所有信息：ffmpeg -h full 2.2 ffplay、ffprobe帮助文档 ffplay：ffpay -h ffprobe：ffprobe -h 注意：ffmpeg、ffplay、ffprobe部分参数通用，部
FFmpeg Audio格式转换
书山有路勤为径
04-03 852
在FFmpeg中进行音频的格式转换主要有三个步骤。 1、实例化SwrContext，并设置转换所需的参数：通道数量、channel layout、sample rate 两种方式实例化。 使用swr_alloc SwrContext *swr = swr_alloc(); av_opt_set_channel_layout(swr, "in_channel_layout", AV_CH_L...
批量转换倾斜模型生成的obj
mylove10086
12-17 875
这个程序只能转换指定文件命名方式的倾斜模型，就是只能转换给出的示例数据。 目的就是显摆一下。 下载地址 链接：https://pan.baidu.com/s/1BWC4WY7r04toD9DMUSflMw 提取码：uwop 使用方法 1、控制台进入程序所在目录 2、输入转换参数回车开始转换 objto3dtiles.exe i e:\tmp_obj o e:\out lon 113.876609 lat 22.899945 t 512 3、参数说明 objto3dtiles.exe..
FFmpeg对视频音频转换操作
小强博客
01-31 2153
FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。采用LGPL或GPL许可证。它提供了录制、转换以及流化音视频的完整解决方案。它包含了非常先进的音频/视频编解码库libavcodec，为了保证高可移植性和编解码质量，libavcodec里很多codec都是从头开发的。 FFmpeg在Linux平台下开发，但它同样也可以在其它操作系统环境中编译运行，包括Win...
利用ffmpeg进行音频转码
热门推荐
unfound的博客
08-02 1万+
在进行音频转码前，首先需要查看我们原始音频中的编码格式以及一些重要的音频参数，包括：采样率，采样格式，通道类型等。 通过将原始的编码格式，采样率，采样格式，通道类型与目标编码格式，采样率，采样格式，通道类型进行对比，只有其中有一项不符合，我们就可以通过重采样操作，转换为所需要的类型。 查看原始音频的编码格式，采样率，采样格式，通道类型方法。 最简单的是通过av_dump_format（）函数...
ffmpeg中支持的音频互相转换的采样格式和声道分布
qq_40170041的博客
08-27 1712
采样格式最后一个字母如果是P就代表数据格式是平面模式，存储时其左声道和右声道的数据是分开存储的，左声道的数据存储在data[0]，右声道的数据存储在data[1]，每个声道的所占⽤的字节数为linesize[0]和linesize[1]；如果最后一个字母不是P就代表是交错模式，存储时是按照LRLRLR…的格式交替存储在data[0]中，linesize[0]表示总的数据量。（每个LR为一个音频样本）linesize表示一个平面内总比特数(经过内存对齐)， nb_samples表示一帧音频帧的采样点数。...
ffmpeg转换声音采样
07-24
使用ffmpeg可以转换音频文件的采样率。你可以使用以下命令来实现： ``` ffmpeg -i input.wav -ar 44100 output.wav ``` 这里的`input.wav`是原始音频文件的路径，`output.wav`是输出文件的路径。`-ar 44100`指定了输出音频的采样率为44100Hz，你可以根据需要修改为其他采样率。执行命令后，ffmpeg会将输入音频文件转换为指定采样率的输出文件。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值