hxl

1.使用苏剑林的bert4keras，作为分词工具优势：能够很好的处理空格from bert4keras.tokenizers import Tokenizer案例1：利用位置信息，方便解码,防止存在空格导致解码错误TOKENIZE.tokenize('G2 S1')TOKENIZE.rematch('G2 S1',TOKENIZE.tokenize('G2 S1'))...

什么是bert4kerasbert4keras是一个基于keras的预训练模型加载框架，目前支持多种预训练模型（BERT、ALBERT、RoBERTa、ALBERT、NEZHA、GPT2、T5等），并支持多种环境（python 2.7、python 3.x）和后端（keras、tf.keras、tf 1.x、tf 2.x）。keras-bert依赖于keras-transformer，而keras-transformer依赖于keras-multi-head，keras-multi-head依赖于ker