android 语音识别 语音手电(一)

一，语音识别库 cmu-pocketsphinx

        当然要用现成的语音识别库了，自己的水平离开发语音识别库还远的很呢。网上搜索找到卡内基梅龙大学的开源语音项目，好象是李开复创办的项目。有JAVA实现，有C语言实现，pocketsphinx是专为嵌入式开发的轻便型C语言实现版本。而且已经有Android版本，所以语音识别库就选它了。


要做语音识别需要几样东西：

1．  程序代码。
2．  声学模型文件。应该是声音与音素的对应关系。为一个文件夹。
3．  词典文件。音素与字词的对应关系。是一个文件 。
4．  语言模型。词与句子的对应关系。一个文件 。我只是想用来做简单命令词的识别，应该没用，不过好象不加载语言模型文件不能运行。

        程序用官网上的pocketsphine_continuous.exe,声学模型文件与用官网的中文声学模型,词典和语言模型先用网上搜的某博客下载的一个很小词汇量的,在命令行指定声学模型字典和语言模型后可以运行了,但识别出来的是乱码,说不同的话显示不同的乱码,相同的话显示相同的乱码,猜想可能是编码不对,把字典和语言模型文件都改成GB2312的,就可以正确识别与显示了.

      自己的词典和语言模型用在线生成方法生成，但是中文的词典不能生成，要手工从官网的某个中文词典中复制音素,还要注意词典和语言模型文件 的编码，在windows 下都用GB2312可以显示中文，估计Andriod下要转成UTF8。在windows下测试成功，识别率感觉还不错。

        现在只是依葫芦画漂，还没有深入学习。比如上面的文件中，对于小词汇量，文件都很小，但声学模型比较大，不知道有什么方法减小没有，也不知道自己训练声学模型会不会小点，再说训练好象比较麻烦，自己不定能精力有能力训练声学模型。再有就是以上数据是以文件形式加载的，Android APK中打包文件在NDK中使用好象也不是太方便，将来不知道能不能直接人内存加载，这样就少方便些了。

        语音识别模块开发,先在PC环境把语音模块的代码完成，调试好，再到NDK环境下编译，在NDK用要用的模块文件中除了pocketsphinx库关相的别的东西都不使用，减少依赖。本模块直接用pocketsphinx的语音识别程序pocketsphine_continuous.exe的源码continuous.c修改，这个程序在命令行指定声学模型、字典和语言模型后就可以进行语音识别。

我们把涉及到语音识别的代码提取出来到一个单独文件speech.c中，做成三个函数，

一个初始化函数speech_init(const char * model_path);

一个反初始化函数speech_uninit();

一个不停提供音频数据的函数speech_feed(short * data,int len);

        语音识别就在speech_feed这个函数中完成，将来这个函数再去回调JAVA，把识别出来的语音反回到JAVA代码。基本就是代码复制，没什么技术含量。音频读取代码还在原来的文件中。这样就实现了和原来pocketsphine_continuous.exe功能一样的程序。整个程序开发在VS Express 2013 for Desktop中完成,用自己改写的代码测试,可以正确识别,和原来的官网程序一模一样.

    然后到NDK是编译speech.c基本上没什么问题，很容易就成功了。

基本代码如下：

static ps_decoder_t *ps;
static cmd_ln_t *config;
static inited = 0;

int speech_init(const char * data_path)
{
	char hmm[256] = "";
	char lm[256] = "";
	char dict[256] = "";
	strcat(hmm, data_path);
	strcat(hmm, "/tdt_sc_8k");
	strcat(lm, data_path);
	strcat(lm, "/light.lm");
	strcat(dict, data_path);
	strcat(dict, "/light.dic");
	config = cmd_ln_init(NULL, ps_args(), TRUE,"-hmm", hmm,"-lm",lm,"-dict", dict,NULL);
	LOGI("speech_init hmm--->%s", (const char *)hmm);
	LOGI("speech_init lm--->%s", (const char *)lm);
	LOGI("speech_init dict--->%s", (const char *)dict);
	ps_default_search_args(config);
	ps = ps_init(config);
	if (ps == NULL) {
		cmd_ln_free_r(config);
		return -1;
	}
	if (ps_start_utt(ps) < 0)
	{
		printf("Failed to start utterance\n");
		return -1;
	}
	inited = 1;
	return 0;
}

int speech_uninit()
{
	if (ps!=NULL)
		ps_free(ps);
	cmd_ln_free_r(config);
	return 0;
}

int speech_feed(const short * buf, int len)
{
	static char utt_started = FALSE;
	char in_speech = 0;
	char const *hyp;
	if (inited != 1)
		return -1;
	ps_process_raw(ps, buf, len, FALSE, FALSE);
	in_speech = ps_get_in_speech(ps);
	if (in_speech && !utt_started) {
		utt_started = TRUE;
		//printf("Listening...\n");
	}
	if (!in_speech && utt_started) {
		/* speech -> silence transition, time to start new utterance  */
		ps_end_utt(ps);
		hyp = ps_get_hyp(ps, NULL);
		if (hyp != NULL)
		{
			//LOGI("speech:%s", (const char *)hyp);
			CallBack_Java(hyp); //printf("%s\n", hyp);
		}
		ps_start_utt(ps);

		utt_started = FALSE;
		//printf("READY....\n");
	}

	return 0;
}