rasa框架支持自定义组件,我们可以自己定义不同的component并加入到pipeline中训练自己的chatbot,下面以自定义一个bert-blstm-crf模块为例,分析如何构建一个自定义模块。
利用bert进行实体识别和意图识别,采用的是kashgari库,通过pip install kashgari安装,该模块可以很方便的部署bert模型,整个自定义component主要包含以下内容:
- name:组件名
- provides:组件产生的输出
- requires:该组件需要的消息属性
- defaults:组件默认配置
- language_list:组件兼容的语言列表
在bert-ner中,自定义组件类名为KashgariEntityExtractor,该类的主要方法有:
- __init__:初始化自定义组件类
- train:该函数由于训练模型
- process:该函数用于解析传入的message
- persist:该函数用于将训练过的组件保存到磁盘上
- load:该函数定义了bert-ner模型如何加载
自定义模块的部署:
1、将bert-entity-extractor和bert-intent-classifier模块放入site-package/rasa/nlu中;
2、在site-package/rasa/nlu/registry.py中将自定义模块加入进来:
1)
from rasa.nlu.bert_model.kashgari_entity_extractor import KashgariEntityExtractor
from rasa.nlu.bert_model.kashgari_intent_classifier import KashgariIntentClassifier
2)component_classes中添加KashgariEntityExtractor和KashgariIntentClassifier,
3)registered_pipeline_templates中添加"bert_ner": ["KashgariEntityExtractor"],和"bert_intent": ["KashgariIntentClassifier"], ;
3、在config.yml文件中加入自定义组件配置,- name: "KashgariEntityExtractor"和- name: "KashgariIntentClassifier" ;
4、bert的pre_model采用的是哈工大提供的中文bert模型。
自定义组件:正则意图识别
代码结构:
def __init__ :一些参数的初始化,并调用read_regex_intent_file获得正则和意图对应的字典;
def read_regex_intent_file:读取本地正则与意图对应的文件构建字典;
def parse:用户输入message与正则意图字典match,并返回相应的intent;
def process:交互的时候调用,返回匹配后的intent结果,如果没有匹配到,则return None。
要先在site-package/rasa/nlu/registry.py中将自定义模块加入进来,如上部分所示,本地正则与意图对应文件的路径在config里面配置,参数名:regex_file。
参考文档
GitHub - BrikerMan/Kashgari-doc-zh: Kashgari 框架的中文文档 (kashgari中文文档)