基于Joint BERT模型的意图识别技术实践

介绍

意图识别在诸多领域已经有了非常广泛的应用，例如各个品牌的智能语音助手，如今多模态模型能力迅猛增长，与LLM交流方式变得多样化，为了给LLM提供高质量有价值的上下文嵌入信息，引入意图识别变得尤为重要，其不仅能够过滤掉大部分无用但又不得不加入pipline的工具，还可以极大优化整个pipline的响应时间以获得更好的用户体验。

意图识别类似分类任务，意图分类的方法包括CNN、LSTM、基于注意力的CNN、分层注意力网络、对抗性多任务学习。在调研时看到了JointBert论文。

模型架构

CLS（[CLS]）是BERT模型中的一个特殊标记（special token），位于输入序列的第一个位置。CLS标记的主要作用是表示整个输入序列的类别。在训练BERT模型时，我们将输入序列的最后一个token传给分类层，这个token就是CLS标记。分类层将这个标记作为输入，输出一个代表序列类别的向量。这个向量在预测阶段被用来判断输入序列所属的类别。

SEP（[SEP]）是BERT模型中的另一个特殊标记，它位于输入序列的最后一个位置。SEP标记的主要作用是分隔不同的输入序列，使BERT模型能够同时处理多个输入序列。在训练和预测阶段，我们将不同的输入序列用SEP标记分隔开，使BERT模型能够正确地处理它们。

Joint BERT模型基于BERT的架构，利用其强大的双向上下文表示能力。它通过在BERT的基础上进行简单的微调（fine-tuning），来同时处理意图分类和槽位填充任务。Joint BERT模型通过使用BERT的隐藏状态来同时预测意图和填充槽位。具体来说，它使用特殊标记[CLS]的第一个隐藏状态来预测意图，而其他标记的最终隐藏状态则用于通过softmax层分类槽位填充标签。Joint BERT模型的优化目标是最大化条件概率p(yi, ys|x)，即给定输入x时，意图yi和槽位序列ys的联合概率。这通过最小化交叉熵损失来实现端到端的微调。为了改进槽位填充性能，论文中还探讨了在Joint BERT模型之上添加条件随机场（CRF）层的效果。CRF可以帮助模型学习槽位标签之间的依赖关系，从而提高槽位填充的准确性。

最佳实践

基础环境