命名实体识别整体逻辑框架(BERT+BiLSTM+CRF)
数据集标注:
标注方式
BIO
BMESO
每个句子以空行区分。
数据预处理
读取所有句子和标签存为两个个list,并判断是否对齐
def load_file(file_path):#读取数据集
contents = open(file_path, encoding='utf-8').readlines()
text =[]
label = []
texts = []
labels = []
for line in contents:
原创
2021-10-11 10:13:11 ·
3561 阅读 ·
1 评论