研究团队利用深度学习神经网络从人脑记录的电信号中合成语音,帮助人们应对语音挑战。
在三个独立的实验中,研究团队使用皮层脑电图(ECoG)来测量受试者在听别人说话或自己说话时大脑中的电脉冲。然后,这些数据被用来训练神经网络产生语音输出。这项工作的动机是创建一个脑-机接口或“语音假肢”,直接将用户大脑中的信号转换成合成语音,帮助那些不能说话的人。
第一个实验是由哥伦比亚大学的一个团队进行的,使用了癫痫患者接受治疗的数据。研究人员将电极植入患者的听觉皮层,并在患者收听简短的口语录音时从电极上收集ECoG数据。研究人员使用Keras和Tensorflow训练了一个深度神经网络(DNN),使用ECoG数据作为输入,并以录音的声码器/声谱图表示为目标。为了评估结果音频,研究人员让听众听复原数字,并报告他们听到了什么;最佳模型的精度达到75%。
由德国不来梅大学的Tanja Schultz教授领导的另一个研究小组收集了接受颅骨切除术的病人的数据。研究人员向这些患者展示了单个单词,他们大声朗读这些单词,同时记录他们的ECoG信号。语音也被记录下来并转换成声谱图。然后,他们训练了一个密集卷积网络(DenseNet),将大脑信号转换成声谱图。接下来,他们用WaveNet声码器将声谱图转换成可听语音。为了评估合成语音,研究人员使用了一种名为短时目标可懂度(STOI)的算法来测量语音质量。分数介于30%到50%之间。
最后,由加利福尼亚大学的Edward Chang领导的第三个研究小组,也使用了患者大声朗读时记录的ECoG信号数据。该团队使用了两个长短期记忆(LSTM)网络的方法。第一个学习了从大脑信号到“中间关节运动表征”的映射,该映射可以建模说话者声道的物理行为。第二个LSTM学习了从运动表征输出到实际音频的映射。这个模型使研究人员能够从记录的大脑活动中合成语言,而病人只是做出说话的动作,并没有真正发出声音。通过Amazon Mechanical Turk,研究人员让听众在听到一个合成的句子后,从多项选择的答案中选出一个来标识他们听到的句子。正确识别每句话的听众的中位数百分比是83%。
要使这项技术成为一种实用的假肢,还有很长的路要走。首先,所有的方法都使用了收集到的电极数据,这些电极被植入那些头骨被打开进行脑部手术的病人的大脑中。虽然Chang的团队确实证明了无声哑剧所产生的信号可以合成语音,但是,许多可能需要这种假肢的使用者可能无法很好地控制他们的声道,甚至无法做到这一点。
查看英文原文:Deep Learning for Speech Synthesis of Audio from Brain Activity