优化bert_large_ner提高ORG实体的边界识别能力（二）

 承接上一章，这里示例代码写一下具体如何处理一下内容：

1.处理原本的BIO数据集，达到自己的数据集与bert分词器获得的label可以对应的效果，

2.padding统一长度，方便输入模型中

3.把df转化成dataset格式，能正确输入到模型中

def encode_tags(label_list, inputs):
    labels = [[label2id[tag] for tag in doc.split()] for doc in label_list]  # 得到label-id的list
    encoded_labels = []

    count = 0
    for doc_labels, doc_offset in zip(labels, inputs.offset_mapping):
        # 创建0的空数组，按照bert原本的编码方法修改首尾为0
        doc_enc_labels = np.ones(len(doc_offset), dtype=int) * 0
        doc_enc_labels[0] = 0
        doc_enc_labels[-1] = 0
        num = 0
        for tupnum in range(len(doc_offset) - 1):
            if (doc_offset[tupnum + 1][0] - doc_offset[tupnum][1] == 1) or (
                doc_offset[tupnum][1] == 0): 
                doc_enc_labels[tupnum + 1] = doc_labels[num]   
                num += 1
            else: