智能语音翻译器：打破语言壁垒的未来

qiuqiu153

已于 2023-12-05 21:18:07 修改

阅读量186

点赞数 2

文章标签： python AI编程

于 2023-12-01 23:40:18 首次发布

本文链接：https://blog.csdn.net/m0_63236911/article/details/134741831

版权

【oneAPI DevSummit & OpenVINODevCon联合黑客松】
跳转链接：https://marketing.csdn.net/p/d2322260c8d99ae24795f727e70e4d3d

项目DEMO地址：qiuqiu153/Intelligent-voice-translation: Intelligent voice translation (github.com)

一、引言

随着全球化进程的加速，人们之间的交流变得越来越频繁。然而，语言障碍成为一座限制交流的大山。为了解决这一问题，人工智能技术逐渐应用于语音翻译领域，凭借着智能化和高效性，构建一个智能语音翻译器成为了打破语言壁垒的新希望。

二、技术原理

智能语音翻译器是基于深度学习模型的自然语言处理系统。其中，OpenVINO（Open Visual Inference & Neural Network Optimization）作为开源工具包，提供了一个高效、灵活的方式来部署深度学习模型。

在我们的项目中，我们将我们的智能语音翻译器分成了三个子模块，第一个模块是语音识别模块，第二个模块是机器翻译模块，第三个模块是语音合成模块。

运行过程：我们的翻译器运行的过程中，语音识别模块将语音提取成文字，机器翻译模块将文字翻译成目标语言的文字，最后由我们的语言合成模块将根据目标语言的文字生成音频，逐步实现从源语音生成目标语音的过程。

在接下来的内容中，我将会讲述我们的项目是如何使用oneapi的套件以及其他的一些方法优化各个小模块的速度和内存，从而优化整个系统的运行速度和占用的内存容量，从而实现快速智能语音翻译的。

1.语音识别模块的优化

在这个示例中，我们使用了OpenVINO中的一个语音识别模型distil-whisper/distil-large-v2，distil-whisper模型比原来的whisper体积要小很多，而且识别速度快了六倍。而我们使用OpenVINO工具套件搭建的distil-whisper模型，更是能够比使用pytorch搭建的要快1-2倍。之后我们再对模型进行量化，在不影响识别质量的情况下，模型的识别速度又快了1倍

关键代码，（具体代码请看项目DEMO地址：qiuqiu153/Intelligent-voice-translation: Intelligent voice translation (github.com)）

首先，我们使用openvino工具套件加载我们的模型：

distil_model_id = "distil-whisper/distil-large-v2"
ov_distil_model = OVModelForSpeechSeq2Seq.from_pretrained(
        distil_model_id, export=True, compile=False
    )

量化并构建模型pipeline：

#quantize
ov_distil_model=quantize(ov_distil_model)
gc.collect()

pipe = pipeline(
    "automatic-speech-recognition",
    model=ov_distil_model,
    tokenizer=processor.tokenizer,
    feature_extractor=processor.feature_extractor,
    max_new_tokens=128,
    chunk_length_s=15,
    batch_size=16,
)

2.语音合成模块的优化

在我们的项目中，我们的语音合成模块将使用BARK模型，Bark 是一种尖端的文本转语音（TTS）技术，在 AI 世界中掀起了一场风暴。与听起来像机器人和机械的典型 TTS 引擎不同，Bark 提供高度逼真和自然的类似人类的声音。Bark 使用 GPT 风格的模型以最少的调整生成语音，产生极具表现力和情感的声音，可以捕捉音调、音高和节奏等细微差别。它提供了一种奇妙的体验，可以让您怀疑自己是否在倾听人类的声音。同时，我们将使用OpenVINO 工具套件来转换和运行BARK，大大加快运行速度，提升推理的性能。

具体构建与转换代码：Intelligent-voice-translation/SpeechSynthesis/model.py at main · qiuqiu153/Intelligent-voice-translation (github.com)

使用上述代码，我们可以轻松实现一个智能语音翻译器。您可以逐行输入您想要翻译的语音，并实时获得翻译语音结果。这个示例使用英文翻译为中文，当然我们在后续也会考虑加入更多的语言支持。