Nvidia最新基于大规模知识库文本预测模型原理（文本知识内涵）

资讯-----关注订阅专栏，实时获得最新一手解读微软/NVIDIA等最新AI算法模型原理设计与AI落地产业应用
与世界AI同步前行——————————

NVIDIA基于大规模知识库的大规模文本生成训练模型

与普通的文本摘要技术/机器翻译模型（seq2seq）不同，要训练具有广泛内容要义的文本，精确的表达文本主题的意思，包含知识解释融合在内的模型，需要针对输入文本，借助大规模知识文库，进行文本中词汇的知识检索，譬如金融常用文本中涉及的并购/拆借/股权融资等专业知识领域，如何翻译或生成符合金融场景和内涵的文本至关重要，对于生成结果的质量和可解释性。

那么如何把大规模的知识库加入到文本训练模型中，提高翻译与生成文本的精度/内涵呢？

最新NVIDIA技术团队研究推出适用于该场景训练的模型Megatron-CNTRL AI语言模型框架：该框架有效解决了文本加入知识库，可手工调节文本生成与知识库融合生成的训练过程。

核心应用模型与设计机制原理:
GPT2
BERT模型
keyword generator
related contextrual knowledge rank generator
sentence  generator

下面我们来一图看懂整个原理模型框架的设计逻辑和思路：