100行代码撸一个语音对话助手

前言

之前在CSDN上看到有人用python调用语音api接口实现一个语音对话机器人的功能，于是依葫芦画瓢，按照方法用python撸了一个语音对话助手，并成功在一个linux 智能音箱上应用并实现播报效果。现把当时的思路和实现代码梳理一遍，准备在树莓派上在这个代码的基础上拓展一下应用。

1. 准备工作

首先该代码是基于python3 编写，主要是因为如百度、科大讯飞、图灵等各SDK应用商提供了便捷的python api接口，并且对python 的支持非常友好，仅需几行代码即可调用其相关的语音AI功能，比自己写一个语音模块方便太多。所以基础的准备工作主要有以下几点：

1. python开发环境
   电脑安装python3，并通过pip install 安装需调用的相关模块，如pyaudio、wave、json、urllib等，相关模块的功能自行百度即可；

import os
from os import system
import aip 
from aip import AipSpeech
import wave
import requests
import json

2. 百度api账号
   通过对比百度、科大讯飞和图灵机器人的开发者平台，发现百度提供的api接口可同时满足语音转文字和文字转语音的功能，因此该代码主要是调用百度的api接口，只需要申请百度的开发者账号即可满足我们的需求。
   登陆百度AI开放平台（https://ai.baidu.com/tech/speech），注册账号，阅读技术文档，了解如何在python中调用api。
   创建应用后只需要记住这三个关键字：App ID、API Key、Secret Key，后面调用的时候会用到。
3. 图灵机器人api账号
   语音识别ASR和文字转语音TTS已经通过百度api实现，图灵开发者平台api主要是提供自然语言理解NLP这个功能。

2. 搭建思路

1. 需求
   人与机器对话，主要有三个步骤：接收语音–理解意图–进行回答。
   
   所以，实现机器语音对话的过程就是，通过硬件设备录入语音，语音助手识别语音意图后进行回答。

2. 实现思路
   说话–设备录音–语音转成文字ASR–文字意图理解NLP–得到回应文字NLP–文字转成语音TTS–设备播放语音–问答结束

3. 开始录音-Recording

不同的硬件设备的录音方式不一样，linux系统的智能音箱，可以通过aplay或arecord命令实现录制音频文件。如果是使用windows电脑运行python程序，则可以通过调用pyaudio库实现本地录音得到音频文件。
linux版本录音命令如下：

system('aplay -C -D hw:0,1 -r 16000 -c 2 -f S16_LE -d 5 --period-size=1024 --buffer-size=8192 /tmp/16k_2ch_16bit.wav')
print('recording_end !')

上述录音命令中，录制音频的采样率为16000Hz，比特数为16bit，通道数为2，格式为wav文件。

4. 语音转文字-ASR

得到wav音频文件后，需要将语音内容转化为文字，这个过程叫语音识别（ASR | Automatic Speech Recognition）。百度开发者平台提供了语音识别的api接口，并支持python调用，只需要通过pip install baidu_aip调用该模块即可。
注意，百度的这个api支持的文件格式有限，文件后缀只支持 pcm/wav/amr 格式，极速版额外支持m4a 格式。

###需要识别的文件
    AUDIO_FILE = path  # 只支持 pcm/wav/amr 格式，极速版额外支持m4a 格式
    # 文件格式
    FORMAT = AUDIO_FILE[-3:];  # 文件后缀只支持 pcm/wav/amr 格式，极速版额外支持m4a 格式

需要值得表扬的是，百度语音识别的api接口支持普通话、英语、粤语、四川话等方言的识别，功能强大。

###wave_to_txt### 
APP_ID = '******'
API_KEY = '************'
SECRET_KEY = '**********************'
client = AipSpeech(APP_ID, API_KEY, SECRET_KEY)

def ASR():
    # 读取录音文件
    with open('/tmp/mono.wav', 'rb') as fp:
        voices = fp.read()
        print('~~wave_read_done!~~')
    try:
        # 参数dev_pid：1536普通话(支持简单的英文识别)、1537普通话(纯中文识别)、1737英语、1637粤语、1837四川话、1936普通话远场
        result = client.asr(voices, 'wav', 16000, {'dev_pid': 1537, })
        result_text = result["result"][0]
        print("you said: " + result_text)
        return result_text
    except KeyError:
        print("KeyError")

5. 自然语言理解-NLP

得到文字信息后，接下来需要做的就是理解文字信息的意图，并给出正确的回应，类似我们大脑的理解过程，这个过程叫做自然语言处理（NLP｜Natural Language Processing）或自然语言理解(NLU｜Natural Language Understanding)。
NLP是研究用电子计算机模拟人的语言交际过程，使计算机能理解和运用人类社会的自然语言如汉语、英语等，实现人机之间的自然语言通信，以代替人的部分脑力劳动，包括查询资料、解答问题、摘录文献、汇编资料以及一切有关自然语言信息的加工处理。NLU在文本信息处理处理系统中扮演着非常重要的角色，是推荐、问答、搜索等系统的必备模块。
图灵机器人调用NLP api 代码块如下：

###NLP--TURING Robot ###
turing_api_key = "*************"
api_url = "http://openapi.tuling123.com/openapi/api/v2"  # 图灵机器人api网址
headers = {'Content-Type': 'application/json;charset=UTF-8'}

#图灵机器人回复
def Turing(text_words):
    req = {
        "reqType": 0,
        "perception": {
            "inputText": {
                "text": text_words
            },
 
            "selfInfo": {
                "location": {
                    "city": "北京",
                    "province": "北京",
                    "street": "车公庄西大街"
                }
            }
        },
        "userInfo": {
            "apiKey": turing_api_key,  # 你的图灵机器人apiKey
            "userId": "Nieson"  # 用户唯一标识(随便填, 非密钥)
        }
    }

通过调用requests模块和json模块把得到的回复信息存储在text里。

req["perception"]["inputText"]["text"] = text_words
response = requests.request("post", api_url, json=req, headers=headers)
response_dict = json.loads(response.text)
 
result = response_dict["results"][0]["values"]["text"]
print("AI Robot said: " + result)
return result

6. 文字转语音-TTS

得到文字回复信息后，我们需要把文字信息转成音频文件，这样才可以通过音频播放设备播放，这个过程叫做TTS。TTS是Text To Speech的缩写，即“从文本到语音”，是人机对话的一部分，让机器能够说话。

### Text_to_Speech,TTS ### 
def TTS(text):
    TTS_out  = client.synthesis(text, 'zh', 1, {
        'vol': 5,'per': 4,'aue':6
    })
    print('TTS_out = ',type(TTS_out))
    # 识别正确返回语音二进制 错误则返回dict 参照下面错误码
    if not isinstance(TTS_out, dict):
        with open('audio.wav', 'wb') as f:
            f.write(TTS_out)

这里必须再夸赞一下百度，百度的TTS api 支持选择男声和女声，而且有不同的音色，并且支持语速、语调和音量的选择，关键还是免费，这一点百度做的实在是良心。同时输出格式支持wav、mp3、pcm等，对硬件播放设备的兼容支持非常友好。

# 发音人选择, 0为普通女声，1为普通男生，3为情感合成-度逍遥，4为情感合成-度丫丫，默认为普通女声
PER = 4
# 语速，取值0-15，默认为5中语速
SPD = 5
# 音调，取值0-15，默认为5中语调
PIT = 5
# 音量，取值0-9，默认为5中音量
VOL = 5
# 下载的文件格式, 3：mp3(default) 4： pcm-16k 5： pcm-8k 6. wav
AUE = 3

FORMATS = {3: "mp3", 4: "pcm", 5: "pcm", 6: "wav"}
FORMAT = FORMATS[AUE]

7. 语音播放-Speaking

跟录音模块一样，根据硬件平台设备的不同，可以选择不同的播放方式，linux系统可以选择使用aplay命令播放，windows和mac电脑可以选择使用python的pyaudio模块播放，代码很简单，这里就不赘述了。

结语

上面ASR、TTS等模块同样可以使用腾讯或阿里的AI api 接口接入调用，原理和方法类似，在此就不做赘述。该程序仅仅是完成了语音对话方面的内容，比较全面的的智能语音python项目，可以借鉴的优秀案例比如潘伟洲的wukong-robot，不但囊括了上述语音转换接口，还涉及到了唤醒词训练，语音技能以及远程控制，代码全部梳理一遍，对智能音箱涉及的基本知识就有了一个比较全面的了解。