m0_51200050的博客

NMT专注于翻译，通过神经网络将源语言文本转换为目标语言文本，适用于各种语言对翻译，但对低资源语言的支持有限。LLMs是通用的语言模型，支持更广泛的NLP任务，包括翻译、问答、文本生成等，具备良好的语言理解能力，但对低资源语言支持仍有待改进。两者结合在一起时，可以利用LLMs的语言理解能力来改进NMT在低资源语言中的表现，提升模型在多语言任务中的适用性。我们的框架采用了两阶段训练过程动态持续预训练在这个阶段中，我们并非对LLM的所有层都进行训练，而是根据模型层的语言能力来选择性地训练特定层。