BERT实战：中文命名实体识别

最新推荐文章于 2024-06-30 16:15:00 发布

shun-ripking

最新推荐文章于 2024-06-30 16:15:00 发布

阅读量3.5k

点赞数

分类专栏：自然语言处理文章标签： NER bert

本文链接：https://blog.csdn.net/chengshunhang/article/details/110349022

版权

本文通过BERT实现了一个10标签的命名实体识别任务。数据来源于CLUE官网，训练过程仅进行了10次迭代。尽管效果不错，但模型存在标签分类问题，如未细分标签类别，导致边界划分不准确；标签过多使模型难以区分，如混淆人名与公司名；训练不足，损失值未充分降低；且模型结构较简单，未引入LSTM和CRF等复杂组件。

摘要由CSDN通过智能技术生成

使用bert实现的一个NER10标签任务

github：nlp-code/bert命名实体识别.ipynb at main · cshmzin/nlp-code (github.com)
bert介绍博客：Simple to Bert | Ripshun Blog
数据集来源：CLUE官网（细粒度NER任务）

获取数据：

# 获取数据
import json

train_data = []
dev_data = []
test_data = []

for line in open('train.json','r',encoding='UTF-8'):
    train_data.append(json.loads(line))

for line in open('dev.json','r',encoding='UTF-8'):
    dev_data.append(json.loads(line))

for line in open('test.json','r',encoding='UTF-8'):
    test_data.append(json.loads(line))

print(f'数量：train：{len(train_data)},dev：{len(dev_data)},test：{len(test_data)}')
print(train_data[0])
print(dev_data[0])
print(test_data[0])

标签数据处理：

构建标签字典，字典格式如下：

#上图为标签类别
#需要构建标签
import re

label_type = {'o':0,'address':1,'book':2,'company':3,'game':4,'government':5,'movie':6,'name':7,'organization':8,'position':9,'scene':10}

def decode_label(d):
#解析标签，以列表形式构成
  text_len = len(d['text'])
  label = [0]*text_len
  types = d['label'].keys()
  for t in types