最近在调speex接口参数,将speex算法的一些特性给添加进去,比如:降噪,静音检测,白噪声添加,增益等等。下面我们就先简单介绍一些spexx算
法。speex语音算法主要是针对VOIP应用的一个开源算法,他集合了多种功能,除了如上所述的,还增加了回声消除(ACE)等功能,能够在多种平台
进行应用。下面我主要介绍一下speex在android平台上的应用。
首先我们来介绍一下speex算法的模块划分。在介绍之前,我们最好去speex官网 http://www.speex.org/downloads/ 去下载他的相关文档以及源码。其
中有一个包speex-api-reference.tar.gz 就有speex模块的相关介绍。其API介绍在1.2为止,speex总共分为以下9大模块:
--Speex encoder and decoder。——编码和解码模块。
--SpeexBits:Bit-stream mainpulations。——比特流操作模块,也就是数据的读写模块。
--Various definitions for Speex callbacks supported by the decoder。——解码回调模块。
--SpeexEchoState:Acoustic echo caceller。——回声消除模块。
--SpeexHeader:Makes it easy to writ/parse an Ogg/Speex header。——ogg格式相关的处理模块。
--JitterBuffer:Adaptive jitter buffer。——语音抖动缓冲模块。
--SpeexJitter:Adaptive jitter buffer specifically for Speex。——针对speex算法特点优化的语言抖动处理模块。
--SpeexPreprocessState:The Speex preprocessor。——Speex其他相关特点的处理模块,如:降噪,静音检测等。
--SpeexStereoState:Handing Speex stereo files。——立体声处理的相关模块。
.以上就是Speex算法的主要模块,每个模块都有相关功能的函数接口,具体我们可以去查看其api的相关介绍。
好了现在我们来介绍其在android平台的使用。由于其使用的是C实现的,所以要想在android进行调用其相关方法就必须通过JNI的方法进行调用,所以
我们首先就必须获得speex算法的一个.so文件,因此我们先使用cygwin编译获取.so文件。
一、将speex相关源码复制进项目
下载speex源码,在项目中新建文件夹,命名为jni。将speex源码下的include,libspeex两个文件的源码复制进jni文件夹中。将include文件夹下的
speex_config_types.h.in文件改为speex_config_types.h文件,并且将其中的内容改为以下内容:
- #ifndef _SPEEX_CONFIG_TYPES_H
- #define _SPEEX_CONFIG_TYPES_H
- typedef signed short spx_int16_t;
- typedef unsigned short spx_uint16_t;
- typedef signed int spx_int32_t;
- typedef unsigned int spx_uint32_t;
- #endif /* _SPEEX_CONFIG_TYPES_H */
二、编写Android.mk以及Application.mk相关文件。
Android.mk文件内容如下:
(注意:前面几个参数LOCAL_MODULE,LOCAL_C_INCLUDES要按照自己的文件夹的包含结构写,LOCAL_SRC_FILES:=speex_jni.cpp,这个.cpp文件也要看自己的命名)
- LOCAL_PATH := $(call my-dir)
- include $(CLEAR_VARS)
- LOCAL_MODULE := libspeex
- LOCAL_CFLAGS = -DFIXED_POINT -DUSE_KISS_FFT -DEXPORT="" -UHAVE_CONFIG_H
- LOCAL_C_INCLUDES := $(LOCAL_PATH)/include
- LOCAL_SRC_FILES := speex_jni.cpp \
- ./libspeex/bits.c \
- ./libspeex/buffer.c \
- ./libspeex/cb_search.c \
- ./libspeex/exc_10_16_table.c \
- ./libspeex/exc_10_32_table.c \
- ./libspeex/exc_20_32_table.c \
- ./libspeex/exc_5_256_table.c \
- ./libspeex/exc_5_64_table.c \
- ./libspeex/exc_8_128_table.c \
- ./libspeex/fftwrap.c \
- ./libspeex/filterbank.c \
- ./libspeex/filters.c \
- ./libspeex/gain_table.c \
- ./libspeex/gain_table_lbr.c \
- ./libspeex/hexc_10_32_table.c \
- ./libspeex/hexc_table.c \
- ./libspeex/high_lsp_tables.c \
- ./libspeex/jitter.c \
- ./libspeex/kiss_fft.c \
- ./libspeex/kiss_fftr.c \
- ./libspeex/lpc.c \
- ./libspeex/lsp.c \
- ./libspeex/lsp_tables_nb.c \
- ./libspeex/ltp.c \
- ./libspeex/mdf.c \
- ./libspeex/modes.c \
- ./libspeex/modes_wb.c \
- ./libspeex/nb_celp.c \
- ./libspeex/preprocess.c \
- ./libspeex/quant_lsp.c \
- ./libspeex/resample.c \
- ./libspeex/sb_celp.c \
- ./libspeex/scal.c \
- ./libspeex/smallft.c \
- ./libspeex/speex.c \
- ./libspeex/speex_callbacks.c \
- ./libspeex/speex_header.c \
- ./libspeex/stereo.c \
- ./libspeex/vbr.c \
- ./libspeex/vq.c \
- ./libspeex/window.c
- include $(BUILD_SHARED_LIBRARY)
具体每行的含义可以参看我之前的一篇博客,或者自行搜索Android.mk的编写方法。
Applicatio.mk 内容如下:
- APP_ABI := armeabi armeabi-v7a
三、编写本地方法接口文件speex
- public native int open(int compression);
- public native int getFrameSize();
- public native int decode(byte encoded[], short lin[], int size);
- public native int encode(short lin[], int offset, byte encoded[], int size);
- public native void close();
四、使用java当中的javah工具编译这个jni接口文件。
使用cmd进入到项目bin/classes目录下,输入以下命令:javah -jni xxx.xxx.xxx.speex。前面的xxx为speex文件的包名。编译完成后会在classes文件下看到
一个com_poctalk_codec_Speex.h文件,将这个文件复制进jni目录下。
(注意:若出现javah不是内部也不是外部命令···的错误,参见网址:http://blog.163.com/caoguoqiang_dlut/blog/static/106589142201131824557488/,我在把含有了javah.exe的文件的路径F:\soft install\java\bin加入环境变量后,javah仍不是内部命令也不是外部命令,然后再将F:\soft install\java\jre\bin加入环境变量后,就可以了,其中F:\soft install\java为JDK安装时,自己选择的安装路径)
五、编写speex.cpp文件
- #include <jni.h>
- #include "com_poctalk_codec_Speex.h"
- #include <string.h>
- #include <unistd.h>
- #include <speex/speex.h>
- #include <speex/speex_preprocess.h>
- #include <speex/speex_echo.h>
- #pragma comment(lib,"libspeexdsp.lib")
- static int codec_open = 0;
- static int dec_frame_size;
- static int enc_frame_size;
- static SpeexBits ebits, dbits;
- void *enc_state;
- void *dec_state;
- SpeexPreprocessState *preprocess_state;
- //SpeexEchoState *echo_state;
- static JavaVM *gJavaVM;
- extern "C"{
- JNIEXPORT jint JNICALL Java_com_poctalk_codec_Speex_open(JNIEnv *env, jobject obj, jint compression) {
- int tmp;
- if (codec_open++ != 0)
- return (jint)0;
- speex_bits_init(&ebits);
- speex_bits_init(&dbits);
- //设置编码为窄带编码
- enc_state = speex_encoder_init(&speex_nb_mode);
- dec_state = speex_decoder_init(&speex_nb_mode);
- //设置编码为宽带编码
- //enc_state = speex_encoder_init(&speex_wb_mode);
- //dec_state = speex_decoder_init(&speex_wb_mode);
- tmp = compression;
- speex_encoder_ctl(enc_state, SPEEX_SET_QUALITY, &tmp);//设置编码的比特率,即语音质量。由参数tmp控制
- speex_encoder_ctl(enc_state, SPEEX_GET_FRAME_SIZE, &enc_frame_size);
- speex_decoder_ctl(dec_state, SPEEX_GET_FRAME_SIZE, &dec_frame_size);
- preprocess_state =speex_preprocess_state_init(160, 8000);//创建预处理对象
- //echo_state = speex_echo_state_init(160, 5000);//创建回声消除对象
- //int sampleRate = 8000;
- //speex_echo_ctl(echo_state, SPEEX_ECHO_SET_SAMPLING_RATE, &sampleRate);
- int denoise = 1;
- int noiseSuppress = -25;
- speex_preprocess_ctl(preprocess_state, SPEEX_PREPROCESS_SET_DENOISE, &denoise); //降噪
- speex_preprocess_ctl(preprocess_state, SPEEX_PREPROCESS_SET_NOISE_SUPPRESS, &noiseSuppress); //设置噪声的dB
- int agc = 1;
- float q=24000;
- //actually default is 8000(0,32768),here make it louder for voice is not loudy enough by default. 8000
- speex_preprocess_ctl(preprocess_state, SPEEX_PREPROCESS_SET_AGC, &agc);//增益
- speex_preprocess_ctl(preprocess_state, SPEEX_PREPROCESS_SET_AGC_LEVEL,&q);
- int vad = 1;
- int vadProbStart = 80;
- int vadProbContinue = 65;
- speex_preprocess_ctl(preprocess_state, SPEEX_PREPROCESS_SET_VAD, &vad); //静音检测
- speex_preprocess_ctl(preprocess_state, SPEEX_PREPROCESS_SET_PROB_START , &vadProbStart); //Set probability required for the VAD to go from silence to voice
- speex_preprocess_ctl(preprocess_state, SPEEX_PREPROCESS_SET_PROB_CONTINUE, &vadProbContinue); //Set probability required for the VAD to stay in the voice state (integer percent)
- return (jint)0;
- }
- JNIEXPORT jint JNICALL Java_com_poctalk_codec_Speex_encode
- (JNIEnv *env, jobject obj, jshortArray lin, jint offset, jbyteArray encoded, jint size) {
- jshort buffer[enc_frame_size];
- jbyte output_buffer[enc_frame_size];
- int nsamples = (size-1)/enc_frame_size + 1;
- int i, tot_bytes = 0;
- if (!codec_open)
- return 0;
- speex_bits_reset(&ebits);//在每帧输入之前将所有的编码状态重置
- speex_echo_state_reset(echo_state);//
- for (i = 0; i < nsamples; i++) {
- env->GetShortArrayRegion(lin, offset + i*enc_frame_size, enc_frame_size, buffer);
- //input_frame麦克风采集到的数据,Echo_Data是从speaker处获取到的数据,out_frame为回声消除后的数据
- //speex_echo_cancellation(echo_state,input_frame,Echo_Data,out_frame);//回声消除
- speex_preprocess_run(preprocess_state, buffer);
- speex_encode_int(enc_state, buffer, &ebits);
- }
- tot_bytes = speex_bits_write(&ebits, (char *)output_buffer,enc_frame_size);//返回实际被写入的字节数
- env->SetByteArrayRegion(encoded, 0, tot_bytes,output_buffer);
- return (jint)tot_bytes;
- }
- JNIEXPORT jint JNICALL Java_com_poctalk_codec_Speex_decode
- (JNIEnv *env, jobject obj, jbyteArray encoded, jshortArray lin, jint size) {
- jbyte buffer[dec_frame_size];
- jshort output_buffer[dec_frame_size];
- jsize encoded_length = size;
- if (!codec_open)
- return 0;
- env->GetByteArrayRegion(encoded, 0, encoded_length, buffer);
- speex_bits_read_from(&dbits, (char *)buffer, encoded_length);
- speex_decode_int(dec_state, &dbits, output_buffer);
- env->SetShortArrayRegion(lin, 0, dec_frame_size,
- output_buffer);
- return (jint)dec_frame_size;
- }
- JNIEXPORT jint JNICALL Java_com_poctalk_codec_Speex_getFrameSize(JNIEnv *env, jobject obj) {
- if (!codec_open)
- return 0;
- return (jint)enc_frame_size;
- }
- JNIEXPORT void JNICALL Java_com_poctalk_codec_Speex_close(JNIEnv *env, jobject obj) {
- if (--codec_open != 0){
- return;
- }
- //speex_echo_state_destroy(echo_state);//
- speex_preprocess_state_destroy(preprocess_state);
- speex_bits_destroy(&ebits);
- speex_bits_destroy(&dbits);
- speex_decoder_destroy(dec_state);
- speex_encoder_destroy(enc_state);
- }
- }
六、使用cygwin对整个项目进行编译。
找到cygwin的安装路径下的 .bash_profile文件,我的路径是:C:\cygwin64\home\ASUS,使用记事本打开这个文件,然后
在文件的末尾加上这两段代码:(注意其中ANDK这个名字可以自己随便取,但是两行代码的ANDK必须相同,其中e/doMyself/android-ndk-r6b-windows/android-ndk-r6b 为你下载的NDK的文件夹路径)
ANDK=/cygdrive/e/doMyself/android-ndk-r6b-windows/android-ndk-r6b
export ANDK
4.5.6.7 ```按照参见网址操作;
8、使用cygwin编译生成.so文件:此时,参见网址中有一步:输入命令:ANDK/ndk-build,这里一定要输入命令:$ANDK/ndk-build
编译完成后,refresh项目会在libs目录下生成两个文件夹armeabi,armeabi-v7a 其中分别有一个libspeex.so文件。
至此.so文件的编译已经完成了,我们就可以在项目中对本地方法进行调用,去进行语音的编解码。由于使用方面我已经在项目中进行应用了,所以就不
挂出来了,不过我的语言模块也是参考网上的一个项目进行编写的,名字叫做android-recorder-6.0,你可以下载他的源码进行模仿。不过还有一点需要
说明的是在编写.cpp文件时,我没有将回声消除的功能给加进去,在回声消除的这个问题上浪费了我很多时间,刚开始没有看他的api,不知道回声消除
是哪个模块实现的,不知道该怎样使用回声消除的api,后来看了api,又不知道怎样在调用回声消除的函数时,该怎样传递参数进去,后来问同事知道,
回声消除的功能是针对全双工的通信方式,也就是喇叭和录音模块都打开,如果是半双工的通信方式,比如:手持机,回声消除的功能其实可有可无。
但是既然提到了又浪费了很多时间,那就不妨讲一讲回声消除功能的调用。
首先我们在预处理时,就应该回声消除的预处理:
- //echo_state = speex_echo_state_init(160, 5000);//创建回声消除对象
- //int sampleRate = 8000;
- //speex_echo_ctl(echo_state, SPEEX_ECHO_SET_SAMPLING_RATE, &sampleRate);
sampleRate就是我们设置好的录音采用频率。
然后在语音编码的时候,进行回声消除功能的调用:
- //input_frame麦克风采集到的数据,Echo_Data是从speaker处获取到的数据,out_frame为回声消除后的数据
- //speex_echo_cancellation(echo_state,input_frame,Echo_Data,out_frame);//回声消除
上面speex_echo_cancellation函数的三个参数一次为,回声消除对象,inpt_frame为喇叭播放数据,Echo_Data为从麦克风获取的数据,out_frame为最后
回声消除后的数据。可能有人会对这几个参数比较迷惑,那是因为不了解回声的产生原因。由于是全双工通信,当我们在录音的时候,也可能在进行声音
播放,这样就会导致有时候录音也会将喇叭正在播放的声音给录进去,这样就产生了回声的效果,所以第二个参数才要将播放的数据作为参数传递进去。
在编译.so文件的过程中,我还遇到了这样一个问题:multiple definition 。后来才发现在我的android.mk文件中将speex_jni.cpp引用了两次。
直到找到这个博客才发现我的这个问题:http://www.cnblogs.com/hewei2012/p/3370299.html 在这个问题上花费我的时间最久,粗心害死人。
参考博客:
http://www.cppblog.com/tx7do/archive/2012/11/23/195607.html
http://www.cnblogs.com/stay/archive/2011/09/06/2168751.html
http://www.cnblogs.com/chef/archive/2012/07/19/2599067.html
http://www.cnblogs.com/rosesmall/archive/2012/04/18/2455395.html
http://www.cnblogs.com/myitm/archive/2011/07/21/2113299.html
http://www.cnblogs.com/kinyer/p/3326570.html