嵌入式Linux平台下TTS（文本转语音）技术的实现

TTS（Text to Speech）技术是将相应的文本转化为语音，使机器能够开口“说话”。它将计算机自己产生的、或外部输入的文字信息转变为可以听得懂的、流利的汉语口语（或者其他语言语音）输出的技术，隶属于语音合成（SpeechSynthesis）。

本文通过移植ekho来实现tts技术，Ekho由国人所创，现在到8.3版本。Ekho是一个TTS引擎，。Ekho（余音）是一个免费、开源的中文语音合成软件。它目前支持粤语、普通话（国语）、诏安客语、藏语、雅言（中国古代通用语）和韩语（试验中），英文则通过Festival间接实现。Ekho支持Linux、Windows和Android平台。

由于本文移植的ekho增加了festival和speechd支持，能够准确读出英文、初步实现语法语义分析。能识别大部分多音字成语、正确读出年月日、区分一二八和一百二十八等。并且由于ekho采用基于人录音的语料库的声音较其他大部分开源TTS引擎都平滑自然。接下来开始进行移植工作

先贴上两个参考链接：

Linux声音解决方案与TTS引擎

ekho-7.7.1嵌入式Linux移植全过程

注意：所有ekho相关的依赖包最好放在同一父目录下。

1.移植espeak-ng-1.50

 ./configure --prefix=/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr --host=aarch64-buildroot-linux-gnu --target=aarch64-linux CC=aarch64-linux-gcc LDFLAGS=-L/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/lib CPPFLAGS=-I/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/include
make && make install

espeak有一点没整明白，就是在ekho-ng-data目录下不会产生phontab文件。开始是先从espeak-1.48这个版本也就是ekho嵌入式移植全过程编译espeak在espeak-data目录下的音素文件拷贝到ekho-ng-data目录下，编译ekho-8.3也能正常播放汉语，但英文不行。后面查了资料发现espeak和espeak-ng的音素文件已经不兼容了，这可能是导致了ekho-8.3在增加了festival支持后依然不能播放英语的原因。不得已最后移植了ekho8.0版本。如果不需要移植ekho8.3版本的，可以跳过espeak-ng的移植。接下来是ekho-8.0的移植步骤，ekho-8.0版本还是依赖于espeak。

2.移植dotconf-1.3

./configure --prefix=/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr --host=aarch64-linux LDFLAGS=-L/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/lib CFLAGS=-I/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/include CC=aarch64-linux-gcc --with-sysroot=/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot

make && make install

dotconf移植成功.

3.移植speech-dispatcher-0.8.8

./configure --prefix=/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr --host=aarch64-linux LDFLAGS=-L/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/lib CFLAGS=-I/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/include CC=aarch64-linux-gcc --without-pulse --without-alsa --without-espeak-ng

出现错误：

say.c:(.text+0xc30): undefined reference to `rpl_malloc'
../../../src/api/c/.libs/libspeechd.so: undefined reference to `rpl_realloc'

注释掉当前目录下的config.h文件227行、221行

4.移植speech_tools

./configure --prefix=/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr --host=aarch64-buildroot-linux-gnu --target=aarch64-buildroot-linux-gnu CC=aarch64-buildroot-linux-gnu-gcc  LDFLAGS=-L/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/lib CPPFLAGS=-I/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/include

在speech_tools目录下：

Vim config/config +64取消SHARED=2的注释修改为支持动态编译，speech_tools不编译动态库后面编译ekho会失败，如图

cd config/compilers

vim gcc_defaults.mak

修改交叉编译器如下图所示

否则在编译过程会出现报错

linux_sound.cc:395:10: 致命错误：alsa/asoundlib.h：没有那个文件或目录

这是由于默认的编译还是gcc，无法链接到/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr目录

在speech_tools目录下：

cd config/rules

gedit  library.mak +110，注释掉该行

make && make install完成安装后进入目录

cd lib

 cp libest*.a /opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/lib

将speech_tools/lib目录下生成的静态库拷贝到sysroot目录，后续编译ekho会用到这些库

5.移植festival

/configure --prefix=/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/ --host=aarch64-linux

修改Makefile文件，修改后的Makefile文件如下所示

make && make install完成安装

6.移植ibmtts-sdk-6.7.4

./autogen.sh

./configure --prefix=/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr --host=aarch64-buildroot-linux-gnu --target=aarch64-buildroot-linux-gnu CC=aarch64-buildroot-linux-gnu-gcc  LDFLAGS=-L/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/lib CPPFLAGS=-I/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/include

修改Makefile

 make clean
 make 2>&1 | tee make.errs
 make install

有报错也不用管，安装后在ibmtts-sdk-6.7.4/.libs目录下找得到正确的动态库就行，然后将这些动态库拷到/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/lib目录下

7.移植ekho-8.0

本来想移植ekho-8.3的，但ekho-8.3依赖于espeak-ng，非常不好搞。所以最终选择了ekho8.0

修改configure文件

gedit configure +17822，修改改行为

LIBS="-lestools -lestbase -leststring  -lncurses -lasound  -ldl  -lm  -lstdc++ -lgomp

如图

configure文件17897行，修改festival链接动态库，否则编译时configure时会不能支持festival。修改为如下截图所示

 

configure文件17897行，修改为链接动态库、头文件目录等，否则编译时会出现函数未定义的情况。修改为如下截图所示

 

 

注意：${prefix}目录是ekho的安装目录，同时也是交叉编译器的安装目录，即sysroot目录。修改完毕运行如下命令：

./configure --prefix=/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr --host=aarch64-linux --target=aarchaarch64-linux CC=aarch64-linux-gcc --enable-festival --enable-speechd --enable-shared  LDFLAGS=-L/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/lib CPPFLAGS=-I/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/include --with-sysroot=/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr LT_SYS_LIBRARY_PATH=/usr/lib

configure执行成功的截图如上，如果有一个是no，也可能导致ekho编译失败或者运行时出现其他一些问题。

修改Makefile

 

 

修改libmusicxml/samples下的Makefile中的gcc修改为交叉编译工具链，如图
 

cd libmusicxml/linux
make clean 
make CC=aarch64-linux-gcc CXX=aarch64-linux-g++

这里就是修改speechd-api的configure选项，修改ekho-8.0/Makefile 指令如下：

./configure --prefix=/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr --host=aarch64-linux CC=aarch64-linux-gcc  CXX=aarch64-linux-g++ --with-pulse --with-alsa --with-espeak LDFLAGS=-L/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/lib CFLAGS=-I/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/include

  如下截图所示

修改完成先尝试一下make

出现报错：

In file included from /usr/include/stdlib.h:55:0,
                 from /opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/include/alsa/asoundlib.h:33,
                 from spd_audio.h:37,
                 from spd_audio.c:33:
/usr/include/bits/floatn.h:86:9: 错误：未知的类型名‘__float128’
 typedef __float128 _Float128;
         ^~~~~~~~~~
In file included from spd_audio.c:65:0:
pulse.c: 在函数‘pulse_open’中:
pulse.c:132:39: 警告：将一个指针转换为大小不同的整数 [-Wpointer-to-int-cast]
     id->pa_min_audio_length = pars[1]?(int)pars[1] : DEFAULT_PA_MIN_AUDIO_LENgTH;
                                       ^
make[4]: *** [Makefile:475：spd_audio.lo] 错误 1
make[4]: 离开目录“/ekho-8.0/speechd-api/src/audio”
make[3]: *** [Makefile:402：all-recursive] 错误 1
make[3]: 离开目录“/ekho-8.0/speechd-api/src”
make[2]: *** [Makefile:443：all-recursive] 错误 1
make[2]: 离开目录“/ekho-8.0/speechd-api”
make[1]: *** [Makefile:375：all] 错误 2
make[1]: 离开目录“/ekho-8.0/speechd-api”

cd ekho-8.0/speechd-api/src/audio

gedit Makefile.am 将原-I/usr/include修改为-I/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/include,如下图所示，这是将头文件目录指向交叉编译器sysroot目录

继续make应该还会出现几次一样的错误，报错后进入该目录按如上方法修改即可

出现报错：

mv -f .deps/ekho.Tpo .deps/ekho.Po
make[4]: *** 没有规则可制作目标“../../../libekho.a”，由“sd_ekho” 需求。 停止。

cd ekho-8.0/speechd-api/src/modules注释掉Makefile.am的第20行

继续make

/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/lib/libestbase.so: undefined reference to `snd_pcm_hw_params_any'
/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/lib/libestbase.so: undefined reference to `snd_pcm_set_params'
/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/lib/libestbase.so: undefined reference to `snd_pcm_hw_params_set_rate_near'
/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/lib/libestbase.so: undefined reference to `snd_pcm_hw_params_set_channels'
/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/lib/libestbase.so: undefined reference to `snd_pcm_open'
/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/lib/libestbase.so: undefined reference to `snd_pcm_prepare'
/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/lib/libestbase.so: undefined reference to `snd_pcm_drain'
/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/lib/libestools.so: undefined reference to `GOMP_barrier'
/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/lib/libestools.so: undefined reference to `GOMP_parallel'
/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/lib/libestbase.so: undefined reference to `snd_pcm_hw_params_sizeof'
/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/lib/libestbase.so: undefined reference to `snd_pcm_close'
/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/lib/libestbase.so: undefined reference to `snd_pcm_hw_params'
/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/lib/libestbase.so: undefined reference to `snd_pcm_drop'
/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/lib/libestbase.so: undefined reference to `snd_pcm_hw_params_set_access'
/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/lib/libestbase.so: undefined reference to `snd_pcm_resume'
/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/lib/libestools.so: undefined reference to `omp_get_thread_num'
/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/lib/libestbase.so: undefined reference to `snd_pcm_state'
/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/lib/libestbase.so: undefined reference to `snd_pcm_wait'
/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/lib/libestools.so: undefined reference to `omp_get_num_threads'
/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/lib/libestbase.so: undefined reference to `snd_strerror'
/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/lib/libestbase.so: undefined reference to `snd_pcm_hw_params_set_format'

出现一堆未定义

修改ekho-8.0/Makefile文件如图

make && make isntall，至此可以完成安装

以下是可能出现的报错：

出现报错：

In file included from src/libekho_impl.cpp:63:0:
/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/include/festival/festival.h:47:17: 致命错误：EST.h：没有那个文件或目录

EST.h可以在speech_tools/include目录找到，在该目录下执行如下指令：

cd speech_tools/include

cp speech_tools/include/* /opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/include/

---------------------------------------------------------------------------------------------------------------------------------------

也有可能会出现找不到festival/festival.h头文件的报错的情况，这时候需要进入到festival目录找到festival.h等该目录下的所有头文件

拷贝到/opt/toolchain/host/aarch64-buildroot-linux-gnu/sysroot/usr/include/festival目录下

---------------------------------------------------------------------------------------------------------------------------------------

出现报错：

./config.h:141:16: 错误：‘std::rpl_malloc’尚未声明
 #define malloc rpl_malloc

在ekho-8.3目录

vim config.h +141 

注释

// #define malloc rpl_malloc

出现报错

/opt/toolchain/host/lib/gcc/aarch64-buildroot-linux-gnu/6.5.0/../../../../aarch64-buildroot-linux-gnu/bin/ld: cannot find -lvorbisenc
/opt/toolchain/host/lib/gcc/aarch64-buildroot-linux-gnu/6.5.0/../../../../aarch64-buildroot-linux-gnu/bin/ld: cannot find -lvorbis

在buildroot选中libvorbis重新编译

---------------------------------------------------------------------------------------------------------------------------------------

ekho -p 0 -a 0 -f 1.txt 

正确播放了中文、英文、字母、数字、以及年月日，能够识别大部分多音字。

1.txt的内容如下：

腾讯大厦11层ABC hello world 6月11号2020年
银行 行走 187 hello world 七上八下 斗志昂扬 才高八斗 随声附和 风和日丽 济济一堂 同舟共济 叹为观止 为虎作伥