12-----在不同语言之间翻译文本

本文介绍了 Hugging Face 模型支持的机器翻译。通过云服务的机器翻译质量已经取得了长足的进步，并产生了高质量的结果。本文展示了 Hugging Face 的模型如何为开发人员提供本地机器翻译的合理替代方案。

安装依赖
安装txtai和所有依赖项。由于本文使用的是可选管道，因此我们需要安装管道附加包。
pip install txtai[pipeline]
创建一个翻译实例
Translation 实例是在语言之间翻译文本的主要入口点。管道将翻译文本抽象为一行调用！

管道具有检测输入语言、加载处理从源语言到目标语言的翻译并返回结果的相关模型的逻辑。翻译管道还具有内置逻辑来处理将大文本块拆分为模型可以处理的较小部分。
from txtai.pipeline import Translation

Create translation model

translate = Translation()
翻译文字
下面的示例显示了如何将文本从英语翻译成西班牙语。然后将此文本翻译回英文。
translation = translate(“This is a test translation into Spanish”, “es”)
translation
Esta es una traducción de prueba al español
translate(translation, “en”)
This is a test translation into Spanish
在一次通话中翻译多种语言
下面的部分将一个英语句子翻译成 5 种不同的语言。然后将结果传递给单个翻译调用以翻译回英语。管道检测每种输入语言并能够加载相关的翻译模型。
def run():
languages = [“fr”, “es”, “de”, “hi”, “ja”]
translations = [translate(“The sky is blue, the stars are far”, language) for language in languages]
english = translate(translations, “en”)

for x, text in enumerate(translations):
print(“Original Language: %s” % languages[x])
print(“Translation: %s” % text)
print(“Back to English: %s” % english[x])
print()

Run multiple translations

run()
Original Language: fr
Translation: Le ciel est bleu, les étoiles sont loin
Back to English: The sky is blue, the stars are far away

Original Language: es
Translation: El cielo es azul, las estrellas están lejos.
Back to English: The sky is blue, the stars are far away.

Original Language: de
Translation: Der Himmel ist blau, die Sterne sind weit
Back to English: The sky is blue, the stars are wide

Original Language: hi
Translation: आकाश नीला है, तारे दूर हैं
Back to English: Sky is blue, stars are away

Original Language: ja
Translation: 天は青い、星は遠い。
Back to English: The heavens are blue and the stars are far away.
整体翻译质量非常高！

其他模型类型
翻译管道很灵活，支持多种模型类型。管道的默认模式是扫描 Hugging Face Hub，寻找与源-目标翻译对最匹配的模型。这通常会产生最好的质量，并且通常是比大型多语言模式更小的模型。

有一个参数可以覆盖它并始终使用基本模型。
translate = Translation(“t5-small”, findmodels=False)
translate(“translate English to French: The sky is blue, the stars are far”, None)
Le ciel est bleu, les étoiles sont loin
翻译不仅限于口头语言。txtai 提供了一个 text-to-sql 模型，可以将英文文本转换为 txtai 兼容的 SQL 语句。
translate = Translation(“NeuML/t5-small-txtsql”, findmodels=False)
translate(“translate English to SQL: feel good story since yesterday”, None)
select id, text, score from txtai where similar(‘feel good story’) and entry >= date(‘now’, ‘-1 day’)
我们要做的最后一件事是仅使用单个大型语言模型运行多语言示例。
translate = Translation(“facebook/mbart-large-50-many-to-many-mmt”, findmodels=False)
run()
Original Language: fr
Translation: Le ciel est bleu, les étoiles sont loin
Back to English: The sky is blue, the stars are far away

Original Language: es
Translation: El cielo es azul, las estrellas están lejos.
Back to English: The sky is blue, the stars are far away.

Original Language: de
Translation: Der Himmel ist blau, die Sterne sind weit
Back to English: The sky is blue, the stars are far.

Original Language: hi
Translation: आकाश नीली है, तारे दूर हैं।
Back to English: The sky is blue, and the stars are far away.

Original Language: ja
Translation: 空は青い、星は遠い
Back to English: the sky is blue, the stars are far away.
包起来
机器翻译在过去几年取得了巨大的飞跃和进步。这些模型为开发人员提供了可靠的、本地托管的云翻译服务替代方案。此外，还有为云翻译服务不支持的低资源语言构建的模型。

支持多种不同的模型和配置，快来试试吧！