个人工作总结
问答模型由两部分组成
- reader模型
- 知识库为wiki中文的KBQA模型
reader模型训练使用了dureader数据集,并用flask库作为服务器进行主机间的通信
KBQA中训练了三个模型
- 基于albert的命名实体识别模型
- W2V预训练词向量模型
- 基于albert的预读理解模型
并使用torchserve部署到老师提供的服务器上,提供多线程、并发访问操作
服务端启动说明
-
启动reader
运行paddle文件夹下的app.py -
启动KBQA
在QA文件夹下运行指令
torchserve --start --ts-config config.properties --model-store model_store \
--models reader=reader.mar,NER=NER.mar,W2V=W2V.mar
或在老师服务器上运行下面四条指令
source activate QA
cd /data/undergrad/bert-master/BERT-for-Chinese-Question-Answering/BERT-for-Chinese-Question-Answering-master/data/final_qa/qa
torchserve --stop
torchserve --start --ts-config config.properties --model-store model_store \
--models reader=reader.mar,NER=NER.mar,W2V=W2V.mar