机器翻译-基础概念

1、机器翻译

    机器翻译（machine translation, MT）是用计算机来实现不同语言之间翻译的技术。被翻译的语言通常称为源语言（source language），翻译成的结果语言称为目标语言（target language）。机器翻译即实现从源语言到目标语言转换的过程，是自然语言处理的重要研究领域之一。
    机器翻译通常使用机器学习技术将大量文本从支持的语言翻译成支持的语言，即将“源”文本从一种语言翻译成另一种“目标”语言。尽管机器翻译技术背后的概念和使用界面相对简单，但其背后的科学和技术极其复杂，汇集了多种前沿技术，特别是深度学习（人工智能）、大数据、语言学、云计算和web API。
当前的人工智能技术——深度神经网络（又称深度学习）使机器翻译和语音识别技术达到了一个高质量的水平，使得机器翻译的水平几乎可以媲美人工水平。
    当前将深度学习应用于机器翻译任务的主流方法为 seq2seq，直接用神经网络将源语言映射到目标语言，即端到端的神经网络机器翻译（End-to-End Neural Machine Translation, End-to-End NMT），简称为NMT模型。

2、概念认知

• Source : 源语料
• Target: 目标语料
• Subword算法：BPE、WordPiece、ULM
  将单词拆分为字符序列并在末尾添加后缀“ </ w>”，统计单词频率。 本阶段的subword的粒度是字符。 例如，“ good”的频率为15，那么我们将其改写为“g o o d </ w>”：15