android 音频采集、FLTP重采样与AAC编码推流

最新推荐文章于 2024-05-11 14:31:16 发布
最新推荐文章于 2024-05-11 14:31:16 发布
阅读量636 收藏 1
点赞数
文章标签： 移动开发 ffmpeg
原文链接：https://juejin.im/post/5a1b6bdbf265da43040654a6
版权


相比较视频编码，音频编码要简单很多，主要就是将采集到的音频源数据PCM编码AAC.
MediaPlus中FFmpeg使用的是libfdk-aac编码器，这里有个问题需要注意下:FFmpeg已经废弃了AV_SAMPLE_FMT_S16格式PCM编码AAC，也就是说如果使用FFmpeg自带的AAC编码器，必须做音频的重采样（重采样为:AV_SAMPLE_FMT_FLTP），否则AAC编码是失败的。

接下来，看下MediaPlus中是如何采集音频与AAC编码的.

在app.mobile.nativeapp.com.libmedia.core.streamer.RtmpPushStreamer的AudioThread获取AudioRecord采集到的音频数据并传入底层：

  class AudioThread extends Thread {

        public volatile boolean m_bExit = false;

        @Override
        public void run() {
            // TODO Auto-generated method stub
            super.run();

            int[] dataLength;
            byte[] audioBuffer;
            AudioCaptureInterface.GetAudioDataReturn ret;

            dataLength = new int[1];
            audioBuffer = new byte[m_aiBufferLength[0]];


            while (!m_bExit) {
                try {
                    Thread.sleep(1, 10);
                    if (m_bExit) {
                        break;
                    }
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
                try {
                    ret = mAudioCapture.GetAudioData(audioBuffer,
                            m_aiBufferLength[0], dataLength);
                    if (ret == AudioCaptureInterface.GetAudioDataReturn.RET_SUCCESS) {
                        encodeAudio(audioBuffer, dataLength[0]);

                    }

                } catch (Exception e) {
                    e.printStackTrace();
                    stopThread();
                }
            }
        }复制代码

具体AudioRecord采集具体实现是avcapture.jar包中，代码比较简单，相关android音视频采集初始化及API调用网上都有相关Demo，这里不再赘述！

  • encodeAudio(audioBuffer, dataLength[0]);将音频数据传入底层。
      /**
  * 采集的PCM音频数据
  *
  * @param audioBuffer
  * @param length
  */
 public void encodeAudio(byte[] audioBuffer, int length) {
     try {
         LiveJniMediaManager.EncodeAAC(audioBuffer, length);
     } catch (Exception e) {
         e.printStackTrace();
     }
 }复制代码
  • JNI层接收到PCM音频数据，添加到AudioCapture同步队列中：
    JNIEXPORT jint JNICALL
Java_app_mobile_nativeapp_com_libmedia_core_jni_LiveJniMediaManager_EncodeAAC(JNIEnv *env,
                                                                           jclass type,
                                                                           jbyteArray audioBuffer_,
                                                                           jint length) {
 if (audioCaptureInit && !isClose) {
     jbyte *audioSrc = env->GetByteArrayElements(audioBuffer_, 0);
     uint8_t *audioDstData = (uint8_t *) malloc(length);
     memcpy(audioDstData, audioSrc, length);
     OriginData *audioOriginData = new OriginData();
     audioOriginData->size = length;
     audioOriginData->data = audioDstData;
     audioCapture->PushAudioData(audioOriginData);
     env->ReleaseByteArrayElements(audioBuffer_, audioSrc, 0);
 }
 return 0;
}复制代码
    以上代码，是在调用app.mobile.nativeapp.com.libmedia.core.streamer.RtmpPushStreamer>>startPushStream()开启推流前的相关调用：主要就是初始化音频采集，并将数据传入底层。
  • startPushStream的调用，会重置AudioCapture::ExitCapture=false;
    数据才会被加入到audioCaputureframeQueue对列中.
    /**
  * 开启推流
  * @param pushUrl
  * @return
  */
 private boolean startPushStream(String pushUrl) {
     if (nativeInt) {
         int ret = 0;
         ret = LiveJniMediaManager.StartPush(pushUrl);
         if (ret < 0) {
             Log.d("initNative", "native push failed!");
             return false;
         }
         return true;
     }
     return false;
 }复制代码
    如下图：

  • 重置标记后，audioCaputureframeQueue.push将数据添中到队列中.

int AudioCapture::PushAudioData(OriginData *originData) {
    if (ExitCapture) {
        return 0;
    }
    originData->pts = av_gettime();
    LOG_D(DEBUG,"audio capture pts :%lld",originData->pts);
    audioCaputureframeQueue.push(originData);
    return 0;
}复制代码

上面这些代码与视频的处理方式都是一样的流程，在调用app.mobile.nativeapp.com.libmedia.core.streamer.RtmpPushStreamer>>startPushStream()，已经开始往音频队列中添加数据，紧接着调用rtmpStreamer->StartPushStream() ，实际也就是开启了音视频的两个编码线程及推流,推流相关代码与视频一致.


int RtmpStreamer::StartPushStream() {
    videoStreamIndex = AddStream(videoEncoder->videoCodecContext);
    audioStreamIndex = AddStream(audioEncoder->audioCodecContext);
    pthread_create(&t3, NULL, RtmpStreamer::WriteHead, this);
    pthread_join(t3, NULL);

    VideoCapture *pVideoCapture = videoEncoder->GetVideoCapture();
    AudioCapture *pAudioCapture = audioEncoder->GetAudioCapture();
    pVideoCapture->videoCaputureframeQueue.clear();
    pAudioCapture->audioCaputureframeQueue.clear();

    if(writeHeadFinish) {
        pthread_create(&t1, NULL, RtmpStreamer::PushAudioStreamTask, this);
        pthread_create(&t2, NULL, RtmpStreamer::PushVideoStreamTask, this);
    }else{
        return -1;
    }
    return 0;
}复制代码
  • PushAudioStreamTask中从队列中获取数据编码、推流.
    rtmpStreamer->audioEncoder->EncodeAAC(&pAudioData);AAC编码.
    rtmpStreamer->SendFrame(pAudioData, rtmpStreamer->audioStreamIndex);推流(与视频推流一致)

这里说明下，音频编码前获取编码器及一些参数的指定：
libmedia/src/main/cpp/AudioEncoder.cpp是音频编码的核心类，int AudioEncoder::InitEncode() 方法封装了音频编码器的初始化。

int AudioEncoder::InitEncode() {
    std::lock_guard<std::mutex> lk(mut);
    avCodec = avcodec_find_encoder_by_name("libfdk_aac");
    int ret = 0;
    if (!avCodec) {
        LOG_D(DEBUG, "aac encoder not found!")
        return -1;
    }
    audioCodecContext = avcodec_alloc_context3(avCodec);
    if (!audioCodecContext) {
        LOG_D(DEBUG, "avcodec alloc context3 failed!");
        return -1;
    }
    audioCodecContext->flags |= AV_CODEC_FLAG_GLOBAL_HEADER;
    audioCodecContext->sample_fmt = AV_SAMPLE_FMT_S16;
    audioCodecContext->sample_rate = audioCapture->GetAudioEncodeArgs()->sampleRate;
    audioCodecContext->thread_count = 8;
    audioCodecContext->bit_rate = 50*1024*8;
    audioCodecContext->channels = audioCapture->GetAudioEncodeArgs()->channels;
    audioCodecContext->frame_size = audioCapture->GetAudioEncodeArgs()->nb_samples;
    audioCodecContext->time_base = {1, 1000000};//AUDIO VIDEO 两边时间基数要相同
    audioCodecContext->channel_layout = av_get_default_channel_layout(audioCodecContext->channels);


    outputFrame = av_frame_alloc();
    outputFrame->channels = audioCodecContext->channels;
    outputFrame->channel_layout = av_get_default_channel_layout(outputFrame->channels);
    outputFrame->format = audioCodecContext->sample_fmt;
    outputFrame->nb_samples = 1024;
    ret = av_frame_get_buffer(outputFrame, 0);
    if (ret != 0) {
        LOG_D(DEBUG, "av_frame_get_buffer failed!");
        return -1;
    }
    LOG_D(DEBUG, "av_frame_get_buffer success!");

    ret = avcodec_open2(audioCodecContext, NULL, NULL);
    if (ret != 0) {
        char buf[1024] = {0};
        av_strerror(ret, buf, sizeof(buf));
        LOG_D(DEBUG, "avcodec open failed! info:%s", buf);
        return -1;
    }
    LOG_D(DEBUG, "open audio codec success!");
    LOG_D(DEBUG, "Complete init Audio Encode!")
    return 0;
}复制代码
  • 指定获取libfdk_aac编码器
    avCodec = avcodec_find_encoder_by_name("libfdk_aac");复制代码
  • 初始化编码器上下文
    audioCodecContext = avcodec_alloc_context3(avCodec);复制代码

  • 创建AVFrame，并分配内存负责封装PCM源数据

    outputFrame = av_frame_alloc();
  outputFrame->channels = audioCodecContext->channels;//通道数
  outputFrame->channel_layout = av_get_default_channel_layout(outputFrame->channels);
  outputFrame->format = audioCodecContext->sample_fmt;
  outputFrame->nb_samples = 1024;//默认值
  ret = av_frame_get_buffer(outputFrame, 0);
  if (ret != 0) {
      LOG_D(DEBUG, "av_frame_get_buffer failed!");
      return -1;
  }
  LOG_D(DEBUG, "av_frame_get_buffer success!");复制代码

  • 打开编码器

    ret = avcodec_open2(audioCodecContext, NULL, NULL);复制代码

    以上是编码前必须要完成的初始化.

int AudioEncoder::EncodeAAC 方法封装了AAC编码：

int AudioEncoder::EncodeAAC(OriginData **originData) {

    int ret = 0;
    ret = avcodec_fill_audio_frame(outputFrame,
                                   audioCodecContext->channels,
                                   audioCodecContext->sample_fmt, (*originData)->data,
                                   8192, 0);
    outputFrame->pts = (*originData)->pts;
    ret = avcodec_send_frame(audioCodecContext, outputFrame);
    if (ret != 0) {
#ifdef SHOW_DEBUG_INFO
        LOG_D(DEBUG, "send frame failed!");
#endif
    }
    av_packet_unref(&audioPacket);

    ret = avcodec_receive_packet(audioCodecContext, &audioPacket);
    if (ret != 0) {
#ifdef SHOW_DEBUG_INFO
        LOG_D(DEBUG, "receive packet failed!");
#endif
    }
    (*originData)->Drop();
    (*originData)->avPacket = &audioPacket;

#ifdef SHOW_DEBUG_INFO
    LOG_D(DEBUG, "encode audio packet size:%d pts:%lld", (*originData)->avPacket->size,
          (*originData)->avPacket->pts);
    LOG_D(DEBUG, "Audio frame encode success!");
#endif
    (*originData)->avPacket->size;
    return audioPacket.size;
}复制代码
  • *originData->data填充到AVFrame中，
    ret = avcodec_send_frame(audioCodecContext, outputFrame);
ret = avcodec_receive_packet(audioCodecContext, &audioPacket);复制代码
    audioPacket就是编码后的数据了，data是编码后的数据，size是大小，这样就完成了编码.

注意：在int AudioEncoder::InitEncode()方法中

avcodec_find_encoder_by_name("libfdk_aac");复制代码

这里使用了fdk-aac编码器，前提是你必须要将libfdk-aac库，链接到ffmpeg动态库中，否则是找不到此编码器的。FFmpeg自带有AAC编码器，可以通过：

 avcodec_find_encoder(AV_CODEC_ID_AAC);复制代码

获取到AAC编码器,当然如果使用FFmpeg的AAC编码器，就会涉及到一个问题，就是刚开始文中提到了，AV_SAMPLE_FMT_S16需要重采样为：AV_SAMPLE_FMT_FLTP的问题，由于FFmpeg废弃了AV_SAMPLE_FMT_S16格式PCM编码AAC，那么在编码前就需要多一步重采样的处理.

以下AV_SAMPLE_FMT_S16 PCM音频数据重采样相关代码仅供参考：

  • 初始化SwrContext,指定输入输出参数

      swrContext = swr_alloc_set_opts(swrContext, av_get_default_channel_layout(CHANNELS),//输出通道Layout
                                  AV_SAMPLE_FMT_FLTP,//输出格式
                                  48000,//输出采样率
                                  av_get_default_channel_layout(CHANNELS),//输入通道Layout
                                  AV_SAMPLE_FMT_S16,//输入格式
                                  48000,//输入采样率
                                  NULL,//NULL
                                  NULL);//NULL
    ret = swr_init(swrContext);//初始化SwrContext

  if (ret != 0) {
      LOG_D(DEBUG, "swr_init failed!");
      return -1;
  }复制代码

  • AAC编码前，将源数据重采样

     for (; ;) {
      if (encodeAAC->exit) {
          break;
      }
      if (encodeAAC->frame_queue.empty()) {
          continue;
      }
      const uint8_t *indata[AV_NUM_DATA_POINTERS] = {0};
      //PCM s16
      uint8_t *buf = *encodeAAC->frame_queue.wait_and_pop().get();//PCM 16bit
#ifdef FDK_CODEC
      //fdk-aac无需重采样
      ret = avcodec_fill_audio_frame(encodeAAC->outputFrame, encodeAAC->avCodecContext->channels,
                                     encodeAAC->avCodecContext->sample_fmt, buf, BUFFER_SIZE, 0);
      if (ret < 0) {
          LOG_D(DEBUG, "fill frame failed!");
          continue;
      }
#else
      //重采样AM_SAMPLE_FMT_FLTP
      indata[0] = buf;
      swr_convert(encodeAAC->swrContext, encodeAAC->outputFrame->data,
                  encodeAAC->outputFrame->nb_samples, indata,
                  encodeAAC->outputFrame->nb_samples);
#endif复制代码
    以上代码就可以实现音频重采样，这样就可以再使用FFMPEG AAC编码器完成编码.

以上简述了android 采集音频PCM数据及AAC编码、AAC编码涉及的相关初始化、FFmpeg AAC编码器的重采样示例.android camera采集、H264编码与Rtmp推流与本文描述了音视频采集、编码过程及如何完成推流，相关文章待续......

版权声明：本文为原创文章，转载请注明出处。
代码地址：github.com/javandoc/Me…



weixin_34274029
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ffmepg音频重采样DEMO
08-02
在进行音频播放时，有时视频流不能满足播放要求，需要对声音的相关属性如：通道数，采样率，样本存储方式进行变更播放，也就是音频重采样。ffmpeg提供了SwrContext进行转换。
java采集音频一帧的传输,重采样/上采样声音帧从8Khz到48Khz(Java / Android)
weixin_39915500的博客
03-13 313
快速而肮脏的解决方案是线性插值.由于您总是以6倍的方式进行抽样,因此这很容易做到：它有点像这样(C代码,未经测试,我没有正确处理最后一次迭代,但它显示了我认为的想法).void resample (short * output, short * input, int n){// output ought to be 6 times as large as input (48000/8000).in...
OBS插件--音频采集
最新发布
linkedbyte的博客
05-11 975
OBS直播助手，OBS插件
对format=fltp格式的PCM进行音量计算
TopsLuo的专栏
08-17 1427
在作音频合并的过程中，发现，如果合并的音频路数太多，合并的结果问题不能让人满意。根据实际情况分析，很多情况下有些音频数据并不需要合并，比如静音的情况，此时就需要实现音量大小的计算了。算法也是从网上找的，精髓一致，只不过音频数据的格式不一致。我参考的是这篇文章。下面是测试的算法实现，结果还可以吧（fltp的格式每个采样点占四个字节，所以算法中我把声道的数据转换成float）。static int pc
【Android多媒体（重采样与混频）】重采样等基本概念
Joymine的专栏
07-06 3959
重采样和混频的概念关于音频采样，百度上面找到这样的解答： 频率对应于时间轴线，振幅对应于电平轴线。波是无限光滑的，弦线可以看成由无数点组成，由于存储空间是相对有限的，数字编码过程中，必须对弦线的点进行采样。采样的过程就是抽取某点的频率值，很显然，在一秒中内抽取的点越多，获取得频率信息更丰富，为了复原波形，一次振动中，必须有2个点的采样，人耳能够感觉到的最高频率为20kHz，因此要满足人耳的听觉要
音频知识
telenewbie的专栏
11-03 1242
fltp s16p
FFMPEG实现音频重采样
07-28
FFmpeg是一款强大的开源多媒体处理工具，它包含了音频和视频的编码、解码、转换以及流媒体功能。在音频处理方面，FFmpeg支持多种格式，并且提供了丰富的API供开发者进行音频处理，包括重采样。本篇文章将深入探讨...
声卡麦克风重采样
07-13
4. **FLTP（Floating-Point Pulse Code Modulation）**：FLTP是一种浮点脉冲编码调制（Pulse Code Modulation, PCM）格式，用于表示高精度的数字音频数据。与传统的整数PCM相比，FLTP提供了更高的动态范围和更精确的...
AV_SAMPLE_FMT_FLTP转为AV_SAMPLE_FMT_S16P(ffmpeg)
03-09
AV_SAMPLE_FMT_FLTP转为AV_SAMPLE_FMT_S16P(ffmpeg)，在使用ffmpeg解码aac的时候，如果使用avcodec_decode_audio4函数解码，那么解码出来的会是AV_SAMPLE_FMT_FLTP 格式的数据( float, 4bit , planar), 如果我们希望...
多重结构操作数总结.docx
05-09
20. MABB (Model glass Abbe number), MCOM (Surface comment), MDPG (Model glass dPgF), MIND (Model glass index): 这些操作数与模型玻璃的光学性质相关，包括阿贝数、局部色散、折射率等，影响光的传播和成像...
fltp_p_git5
02-13
Create React App入门 该项目是通过。 可用脚本 在项目目录中，可以运行： npm start 在开发模式下运行应用程序。 打开在浏览器中查看。 如果进行编辑，页面将重新加载。 您还将在控制台中看到任何棉绒错误。...
FFmpeg PCM 编码 AAC
Hanyang Li的专栏
04-24 1220
FFmpeg PCM 编码 AAC
ffmpeg音视频编码入门：音频编码（pcm编码aac）
weixin_43796767的博客
05-11 2132
关于frame中nb_samples字段的解释： nb_samples表示一帧音频数据中采样的数量（次数），nb_samples与具体的码流类型和编码级别有关。nb_samples和AVCodecContext中的frame_size相同。 采样率44100Khz，采样格式s16，双声道时： 一秒44100个采样点，一个采样点2字节，总数据量为88200字节；一帧nb_samples次采样，数据量为nb_samples x 2 x 2；一秒有88200/（nb_sample x 4）帧音频。 编码类
音频编解码·实战篇（1）PCM转至AAC（AAC编码）
麦克船长的技术笔记
04-07 1777
音频编解码·实战篇（1）PCM转至AAC（AAC编码） 作者：柳大·Poechant 博客：blog.csdn.net/poechant 邮箱：zhongchao.ustc@gmail.com 日期：April 7th, 2012 这里利用FAAC来实现AAC编码。 1 下载安装 FAAC 这里的安装过程是在 Mac 和 Linux 上实现的，Windows可以类似参考。 wget http...
新版ffmpeg编码AAC注意事项：
fangshy的专栏
02-25 8588
新版大于3.0后的版本，按雷霄骅大神的 最简单的基于FFMPEG的音频编码器(PCM编码为AAC)的例子已经无法走完流程，avcodec_open2会返回-22，其中原因是 1、新版版的ffmpeg 编码AAC只支持的AV_SAMPLE_FMT_FLTP，老版本的是AV_SAMPLE_FMT_S16，参数开之后avcodec_open2返回正确，但不要高兴太早； 2、很可能你传入的PCM数据是...
【音视频数据数据处理 13】【AAC篇】解析AAC码流中的ADTS frame
|~~~热爱生活、努力学习的小伙汁~~~|
08-31 1214
【音视频数据数据处理 13】【AAC篇】解析AAC码流中的ADTS frame一、AAC音频编码介绍1.1 AAC的音频文件格式1.2 AAC的解码流程二、获取所有ADTS frame内容 - 程序代码实现 一、AAC音频编码介绍 AAC共有9种规格，以适应不同的场合的需要： MPEG-2 AAC LC 低复杂度规格（Low Complexity） 比较简单，没有增益控制，但提高了编码效率，在中等码率的编码效率以及音质方面，都能找到平衡点 MPEG-2 AAC Main 主规格
Android FFmpeg音频重采样
JohanMan的博客
07-24 1894
自己有个需求，要把采样率为44100的PCM重采样为16000的PCM，经过1天的探索，终于成功了！！ 网上的资料比较少，找到的都是比较零碎的知识点，只能慢慢摸索，想到这个，还是觉得有团队好，个人学习总是慢一点的，比较曲折，不过也能锻炼个人的学习能力！ 基本原理 进入正题，所谓音频重采样，简单来说，就是在原来的PCM进行插值（低采样率到高采样率）或抽取（高采样率到低采样），但是如果我们只是线性插值...
基于NDK、C++、FFmpeg的android视频播放器开发实战
03-13
课程包含了对流媒体（拉流）的播放，演示了播放rtmp的香港卫视，支持rtsp摄像头和http网络视频的播放，支持访问本地的视频文件，并精确显示和控制播放进度：1讲解如何编译Android平台的ffmpeg库，使其支持neon技术和硬解码，并测试性能2使用opengles的NDK shader高效播放yuv视频，不耗费cpu性能更优（GPU）3代码支持硬解码（省电不耗cpu）和多线程解码（高性能每秒解码240帧1080p）4支持网络流媒体（rtmp，rtsp，http）可直接拉流播放电视并支持rtsp摄像头访问5课程将设计模式应用到实践 - 观察者，构建者，门面，代理，适配器，单件模式
FFMPEG学习
m0_37092540的博客
09-08 291
(1)音频采样率和音频比特率关系 采样率:每秒采样的个数(不包含采样的数据长度,也就是采样格式,) 音频的比特率公式：比特率=采样率 * 单个的周期音频数据长度。 如16bit 双声道 48KHz音频的比特率 48KHz * (16 * 2) = 1536kbps = 192 kBps ...
写一个基于ffmpeg采集音频后进行编码成aac格式的程序代码
02-22
使用ffmpeg采集和编码音频的程序代码：// 初始化ffmpeg资源 av_register_all();// 分配输入上下文 AVFormatContext *pFormatCtx = avformat_alloc_context();// 打开音频文件 if (avformat_open_input(&pFormatCtx, ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值