作者:禅与计算机程序设计艺术
1.简介
自然语言处理(NLP)技术一直以来都是非常热门的研究领域。深度学习(DL)也逐渐成为NLP的重要组成部分,并且BERT预训练模型已经成为事实上的标准模型。因此,了解BERT预训练模型及其部署至生产环境是一个必不可少的技能。本文将以BERT预训练模型的部署方式来介绍如何在Linux服务器上使用Docker容器部署BERT预训练模型。
2.基本概念术语说明
2.1 NLP相关术语
2.1.1 中文分词与词性标注
2.1.1.1 中文分词
中文分词是将一段中文文本按一定规范进行切分,即按照字、词或短语为单位,提取出相应的单词或者字符序列作为输出,例如“中国是个好国家”。中文分词分为正向最大匹配法和反向最大匹配法两种方法,其中正向最大匹配法是从左至右地匹配最长的词,而反向最大匹配法则是从右至左地匹配最长的词。
中文分词可以分为基于规则的方法、统计学习方法和人工智能方法三类。基于规则的方法包括通用分词器和规则集,如哈工大LTP工具包等;统计学习方法主要包括HMM(隐马尔可夫模型)和CRF(条件随机场),如北大词向量和THUCNews情感分析数据集&#x