Bert编码训练NER实体偏移的问题

在这里记录一下踩过的坑

在训练样本中几乎没有前面一大串英文或者数字，然后后面跟实体的情况，所以训练起来还挺平稳的。
但是在预测的时候遇到了这种情况，造成实体可以识别出来，但是实体的预测结果下标错了（表现为下标提前了）

造成这一问题的原因是在给bert传文本得到文本特征的时候，可以穿字符串的文本，也可以自己token完成后传一个token后的list。

如果传递的是字符串，默认系统的token，对于英文数字的处理方式不是单个字token的，采取了一种收缩和泛化的机制。所以词会变少，然后实体标签提前了。

如果是NER任务，自己把数据token好，然后训练更佳。

有兴趣的同学可以看一下其源代码：

def convert_lst_to_features(lst_str, seq_length, tokenizer, is_tokenized=False):
    """Loads a data file into a list of `InputBatch`s."""

    examples = read_tokenized_examples(lst_str) if is_tokenized else read_examples(lst_str)

    _tokenize = lambda x: tokenizer.mark_unk_tokens(x) if is_tokenized else tokenizer.tokenize(x)