OpenSL ES利用SoundTouch实现PCM音频的变速和变调

OpenSL ES 专栏收录该内容
4 篇文章 3 订阅

 

 

我的视频课程(基础):《(NDK)FFmpeg打造Android万能音频播放器》

我的视频课程(进阶):《(NDK)FFmpeg打造Android视频播放器》

我的视频课程(编码直播推流):《Android视频编码和直播推流》

我的视频课程(C++ OpenGL):《Android C++ OpenGL教程》

 

 

        说到OpenSL ES,不仅能播放和录制PCM音频数据,还能改变声音大小、设置左声道或右声道播放、还能变速播放,可谓是播放音频的王者。但是变速有一点不好的就是,虽然播放音频的速度变了,但是相应的音调也随之变了,这样的用户体验就不那么好了。所以就想到了用开源的SoundTouch来实现PCM音频变速和变调,OpenSL ES只是单纯的播放PCM数据就可以了。先来一张实例镇楼:(实例来自wlmusic),文末有本文实例代码。

 

一、移植SoundTouch(Android):

1.1、下载SoundTouch源码,当前最新是:v2.0.0

1.2、用Android Studio创建一个C++项目,如果不会可看《Android Studio通过cmake创建FFmpeg项目》的创建过程。

1.3、然后再项目中集成OpenSL ES,可参考《Android通过OpenSL ES播放音频套路详解》。

1.4、在项目cpp文件夹中创建include和SoundTouch文件夹,并把下载好的SoundTouch里面的include和SoundTouch的源码拷贝进去就可以了,目录结构如下:

1.5、在CMakeList里面添加需要编译的cpp文件和include:

include_directories(src/main/cpp/SoundTouch)
include_directories(src/main/cpp/include)
add_library( # Sets the name of the library.
             native-lib
             # Sets the library as a shared library.
             SHARED
             # Provides a relative path to your source file(s).
             src/mainp/native-lib.cpp
              src/mainp/SoundTouch/AAFilter.cpp
              src/mainp/SoundTouch/FIFOSampleBuffer.cpp
              src/mainp/SoundTouch/FIRFilter.cpp
              src/mainp/SoundTouchu_detect_x86.cpp
              src/mainp/SoundTouch/sse_optimized.cpp
              src/mainp/SoundTouch/RateTransposer.cpp
              src/mainp/SoundTouch/SoundTouch.cpp
              src/mainp/SoundTouch/InterpolateCubic.cpp
              src/mainp/SoundTouch/InterpolateLinear.cpp
              src/mainp/SoundTouch/InterpolateShannon.cpp
              src/mainp/SoundTouch/TDStretch.cpp
              src/mainp/SoundTouch/BPMDetect.cpp
              src/mainp/SoundTouch/PeakFinder.cpp
              )

这样就把SoundTouch移植到了Android中。

 

二、用SoundTouch转码PCM源文件:

2.1、因为SoundTouch默认是float(32bit)格式的数据,这里需要先改成short(16bit)的格式。打开STTypes.h文件,修改如下代码:

再注释掉下面这句,不然编译不通过(for x86模拟器):

这样SoundTouch里面处理PCM数据就是用的16bit的数据了。

2.2、SoundTouch使用流程

2.2.1、添加命名空间,并创建SoundTouch指针变量

using namespace soundtouch;
SoundTouch *soundTouch;

2.2.2、设置SoundTouch参数

    soundTouch = new SoundTouch();
    soundTouch->setSampleRate(44100);//设置采样率,此处为44100,根据实际情况可变
    soundTouch->setChannels(2);//声道,此处为立体声
    soundTouch->setPitch(1);//变调不变速,如0.5、1.0、1.5等
    soundTouch->setTempo(1);//变速不变调,如0.5、1.0、2.0等

2.2.3、向SoundTouch中传入获取到的PCM数据,使用:putSamples函数。

size = fread(pcm_buffer, 1, 4096 * 2, pcmFile);
soundTouch->putSamples((const SAMPLETYPE *) pcm_buffer, size / 4);

这里,pcm_buffer是u_int16_t *类型的,也就是说和SoundTouch处理的PCM数据位数是一致的(16bit),所以可以直接传入SoundTouch中。putSamples的第一个参数就是PCM数据指针,第二个参数是采样点的个数,由于是2声道16bit(2byte),所以PCM数据的采样点个数为:num = 大小(size)/ (2 * 2)。

2.2.3、获取SoundTouch输出的PCM数据:使用receiveSamples函数。

num = soundTouch->receiveSamples(sd_buffer, size / 4);

这里,receiveSamples的第一个参数是SoundTouch(变速或变调)处理后的PCM数据存放的内存地址,第二个参数是可能的最大采样个数,可以和putSamples保持一致,其中sd_buffer是SAMPLETYPE * 类型的,记得要提前分配好内存大小,最后返回值就是SoundTouch处理后的PCM里面所包含的采样个数,由于可能有缓存,所以应循环读取receiveSamples,直到返回值为0为止。

2.2.4、OpenSL ES播放SoundTouch处理后的PCM音频数据。

(*pcmBufferQueue)->Enqueue(pcmBufferQueue, sd_buffer, size * 4);

由于size是采样个数,所以sd_buffer的大小是:size * 2(声道) * 2(16bit==2字节)。

这样,我们听到的声音就是通过SoundTouch转码过后的了,如:变速不变调,变调不变速,变速又变调都可以自己设置。

2.3、FFmpeg解码得到的PCM数据(uint_8 *)利用SoundTouch转码:

这里要处理的就是把uint_8 *(8bit)的数据转换成short(16bit)的数据格式。这里其实就是做bit的位运算,原理如下如:

转换代码如下:

for (int i = 0; i < size / 2 + 1; i++)
                {
                    sd_buffer[i] = (pcm_buffer[i * 2] | (pcm_buffer[i * 2 + 1] << 8));
                }
                soundTouch->putSamples((const SAMPLETYPE *) pcm_buffer, size / 4);

后续操作和16bit的一样不变。

三、总结

虽然是简单的移植SoundTouch到Android来播放PCM数据,但是还是让我们了解到了数据在内存中怎么排列的,然后可以怎么操作最小单位的bit来达到我们的要求。

实例源码下载:Github:SoundTouch_OpenSL_Android

 

 

 

  • 5
    点赞
  • 4
    评论
  • 8
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2021 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值