transformer实现自然语言意图识别模型训练和预测

从0到1实现transformer自然语言意图识别模型训练和预测的完整流程，包括数据整理、模型训练、模型部署和模型预测的详细步骤。

数据整理

数据收集

将意图识别的意图关键字和分类进行整理，整理成json结构，并将整理的json数据生成数据集，保存成.csv文件。

import pandas as pd
import random

# 定义意图和对应的关键词
intent_keywords = {
   
    'symptom': [
        '症状', '表征', '现象', '症候', '表现', '症状有哪些', '什么症状', '症状是什么', '症状表现', '临床表现', '临床症状', '症状特征',
        '有哪些症状', '常见症状', '症状说明', '症状描述', '症状体征', '症状反应', '症状类型'
    ],
    'cause': [
        '原因', '成因', '为什么', '怎么会', '怎样才', '咋样才', '怎样会', '如何会', '为啥', '为何', '如何才会', '怎么才会', '会导致', '会造成',
        '为什么会', '病因', '病因是什么', '为什么会得', '得病原因', '发病原因', '发病机制', '致病原因', '病因分析', '病因探讨',
        '导致的原因', '引起的原因', '为什么会这样', '为什么会发生', '发病的原因', '致病的原因', '发病原因是什么', '致病因素', '病因解读'
    ],
    'acompany': [
        '并发症', '并发', '一起发生', '一并发生', '一起出现', '一并出现', '一同发生', '一同出现', '伴随发生', '伴随', '共现',
        '伴随症状', '并发情况', '并发表现', '并发症状', '伴随哪些症状', '伴随什么症状', '共现症状', '共现表现',
        '并发的症状', '伴随的症状', '并发症有哪些', '并发症是什么', '常见并发症', '并发症状描述', '并发症状分析'
    ],
    'food': [
        '饮食', '饮用', '吃', '食', '伙食', '膳食', '喝', '菜', '忌口', '补品', '保健品', '食谱', '菜谱', '食用', '食物', '补品',
        '饮食注意', '饮食禁忌', '吃什么', '不能吃什么', '饮食建议', '饮食指导', '营养', '营养品', '营养补充', '饮食调理', '饮食护理',
        '饮食习惯', '饮食安排', '饮食管理', '饮食计划', '饮食搭配', '饮食方案', '饮食调整', '饮食控制', '饮食要求', '饮食标准'
    ],
    'drug': [
        '药', '药品', '用药', '胶囊', '口服液', '炎片', '药物', '药物治疗', '药物使用', '药物疗法', '药物名称', '药物种类',
        '药物推荐', '药物建议', '药物清单', '药物处方', '药物剂量', '药物副作用', '药物禁忌', '药物说明', '药物指南',
        '药物效果', '药物选择', '药物服用', '药物管理', '药物配置', '药物说明书', '药物信息', '药物治疗方案', '药物治疗效果'
    ],
    'prevent': [
        '预防', '防范', '抵制', '抵御', '防止', '躲避', '逃避', '避开', '免得', '逃开', '避开', '避掉', '躲开', '躲掉', '绕开',
        '怎样才能不', '怎么才能不', '咋样才能不', '咋才能不', '如何才能不'