【机器学习+NER】手把手教你用机器学习CRF模型构建NER系统（CCL2021）

最新推荐文章于 2024-04-19 10:05:27 发布
最新推荐文章于 2024-04-19 10:05:27 发布
阅读量1.7k 收藏 6
点赞数 6
分类专栏： 笔记 文章标签： 机器学习 python sklearn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_53641110/article/details/125622708
版权

【机器学习+NER】手把手教你用机器学习CRF模型构建NER系统（CCL2021）

数据集来源：2021年中文计算语言学研究大会的智能对话诊疗评测比赛

任务：利用机器学习CRF模型构建NER系统，得到下图所示的评估指标
在这里插入图片描述

原始数据处理参考：医疗命名体识别之数据预处理(处理.json文件)

文章目录

一、环境搭建

此处机器学习CRF模型主要使用sklearn_crfsuite库调用CRF进行搭建；

可以通过：

pip install sklearn_crfsuite

安装sklearn_crfsuite库

二、数据类型处理
  1. 该数据集含有11类标签，分别为“0”、“B-Symptom”、“I-Symptom”、“B-Drug_Category”、“I-Drug_Category”、“B-Drug”、“I-Drug”、“B-Medical_Examination”、“I-Medical_Examination”、“B-Operation”、“I-Operation”给数据标签一个索引，即：
    # CCL2021数据标签：
label2idx = {'O': 0,
             'B-Symptom': 1, 'I-Symptom': 2,
             'B-Drug_Category': 3, 'I-Drug_Category': 4,
             'B-Drug': 5, 'I-Drug': 6,
             'B-Medical_Examination': 7, 'I-Medical_Examination': 8,'B-Operation': 9, 'I-Operation': 10
             }
  2. 将索引和标签一一对应，存储到idx2label中
    idx2label = {idx: label for label, idx in label2idx.items()}
  3. 读取字符字典文件
    with open(char_vocab_path, "r", encoding="utf8") as fo:
    char_vocabs = [line.strip() for line in fo]
char_vocabs = special_words + char_vocabs
  4. 将字符与索引编号对应，便于后续查找字符
    idx2vocab = {idx: char for idx, char in enumerate(char_vocabs)}
vocab2idx = {char: idx for idx, char in idx2vocab.items()}
  5. 读取训练语料，将原始数据7成划分为训练集，3成划分为测试集，返回数据和标签
    # 读取训练语料
def read_corpus(corpus_path, vocab2idx, label2idx, flag):
    datas, labels = [], []
    with open(corpus_path, encoding='utf-8') as fr:
        lines = fr.readlines()
    sent_, tag_ = [], []
    if flag == "train":
        lines = lines[:int(len(lines) * 0.7)]
    else:
        lines = lines[int(len(lines) * 0.7):]
    for line in lines:
        if line != '\n':
            [char, label] = line.strip().split()
            sent_.append(char)
            tag_.append(label)
        else:
            sent_ids = [vocab2idx[char] if char in vocab2idx else vocab2idx['<UNK>'] for char in sent_]
            tag_ids = [label2idx[label] if label in label2idx else 0 for label in tag_]
            datas.append(sent_ids)
            labels.append(tag_ids)
            sent_, tag_ = [], []
    return datas, labels

# 加载训练集 7成
train_datas, train_labels = read_corpus(train_data_path, vocab2idx, label2idx, flag="train")
# 加载测试集 3成
test_datas, test_labels = read_corpus(train_data_path, vocab2idx, label2idx, flag="test")
  6. 简单测试一下，看数据是否对应上了
    print(train_datas[8])
print([idx2vocab[idx] for idx in train_datas[8]])
print(train_labels[8])
print([idx2label[idx] for idx in train_labels[8]])
# 输出结果为：
#[1578, 5558, 2641, 5795, 2644, 3078, 2644, 939, 893, 3844, 3575, 946, 6821]
#['宝', '贝', '最', '近', '有', '没', '有', '呕', '吐', '症', '状', '呢', '？']
#[0, 0, 0, 0, 0, 0, 0, 1, 2, 0, 0, 0, 0]
#['O', 'O', 'O', 'O', 'O', 'O', 'O', 'B-Symptom', 'I-Symptom', 'O', 'O', 'O', 'O']
#第一行数据为字符对应的索引
#第二行为字符
#第三行为标签索引
#第四行为标签
  7. 转换数据格式，分别将数据与标签转换成CRF模型支持的数据格式
    # 得到训练数据、训练数据标签
labels = []
datas = []
for i in range(len(train_labels)):
    datas.append([idx2vocab[idx] for idx in train_datas[i]])

train_datas = datas
# print(train_datas)

for i in range(len(train_labels)):
    labels.append([idx2label[idx] for idx in train_labels[i]])

train_labels = labels
# print(train_labels)

# 得到测试数据、测试数据标签
labels = []
datas = []
for i in range(len(test_labels)):
    datas.append([idx2vocab[idx] for idx in test_datas[i]])

test_datas = datas

for i in range(len(test_labels)):
    labels.append([idx2label[idx] for idx in test_labels[i]])

test_labels = labels
三、训练模型
  1. 利用sklearn_crfsuite库调用CRF模型，默认采用lbfgs算法
    crf = sklearn_crfsuite.CRF(
    algorithm='lbfgs',
    c1=0.1,
    c2=0.1,
    max_iterations=100,
    all_possible_transitions=True
)
  2. 利用训练数据和训练数据标签训练模型
    crf.fit(train_datas, train_labels)
  3. 利用测试数据，预测测试数据标签
    test_pred = crf.predict(test_datas)
  4. 统计整个数据的标签信息，并进行排序
    labels = list(crf.classes_)
# labels.remove('O')
sorted_labels = sorted(
    labels,
    key=lambda name: (name[1:], name[0])
)
  5. 为了满足classification_report的数据格式要求，我们对测试集数据标签与预测结果标签进行数据格式转换，转换成一位列表
    # 转换成一维列表
label = []
pred = []
for i in range(len(test_labels)):
    for j in range(len(test_labels[i])):
        label.append(test_labels[i][j])

test_labels = label


for i in range(len(test_pred)):
    for j in range(len(test_pred[i])):
        pred.append(test_pred[i][j])

test_pred = pred
  6. 输出分类结果报告，得到结果
    print(classification_report(
    test_labels, test_pred, target_names=sorted_labels
))
四、结果分析

在这里插入图片描述

从评估结果可以看出，模型对精准率的宏平均值macro avg=0.90,加权平均值weighted avg=0.97。由此可以得出模型预测的正样本中精确率达到90%以上；

模型对于召回率recall的宏平均值macro avg=0.89,加权平均值weighted avg=0.97，因而模型对于正样本的分类准确率能达到89%%，加权平均值weighted avg=0.97说明大部分正样本的分类准确率为97%。

模型对于F1-score的宏平均值macro avg=0.89,加权平均值weighted avg=0.97，说明模型的召回率和精准率都很高，模型对于正样本的预测效果和正样本预测中的准确性都很好。

五、完整源码
import sklearn_crfsuite
from sklearn.metrics import classification_report

char_vocab_path = "./data/char_vocabs.txt"  # 字典文件
train_data_path = "./data/train_data.txt"  # 训练测试数据
special_words = ['<PAD>', '<UNK>']  # 特殊词表示
# CCL2021数据标签：
label2idx = {'O': 0,
             'B-Symptom': 1, 'I-Symptom': 2,
             'B-Drug_Category': 3, 'I-Drug_Category': 4,
             'B-Drug': 5, 'I-Drug': 6,
             'B-Medical_Examination': 7, 'I-Medical_Examination': 8,
             'B-Operation': 9, 'I-Operation': 10
             }

# 索引和BIO标签对应
idx2label = {idx: label for label, idx in label2idx.items()}
# print(idx2label)

# 读取字符词典文件
with open(char_vocab_path, "r", encoding="utf8") as fo:
    char_vocabs = [line.strip() for line in fo]
char_vocabs = special_words + char_vocabs
# print(char_vocabs)

# 字符和索引编号对应
idx2vocab = {idx: char for idx, char in enumerate(char_vocabs)}
vocab2idx = {char: idx for idx, char in idx2vocab.items()}
# print(idx2vocab)
# print(idx2vocab)


# 读取训练语料
def read_corpus(corpus_path, vocab2idx, label2idx, flag):
    datas, labels = [], []
    with open(corpus_path, encoding='utf-8') as fr:
        lines = fr.readlines()
    sent_, tag_ = [], []
    if flag == "train":
        lines = lines[:int(len(lines) * 0.7)]
    else:
        lines = lines[int(len(lines) * 0.7):]
    for line in lines:
        if line != '\n':
            [char, label] = line.strip().split()
            sent_.append(char)
            tag_.append(label)
        else:
            sent_ids = [vocab2idx[char] if char in vocab2idx else vocab2idx['<UNK>'] for char in sent_]
            tag_ids = [label2idx[label] if label in label2idx else 0 for label in tag_]
            datas.append(sent_ids)
            labels.append(tag_ids)
            sent_, tag_ = [], []
    return datas, labels


# 加载训练集 7成
train_datas, train_labels = read_corpus(train_data_path, vocab2idx, label2idx, flag="train")
# 加载测试集 3成
test_datas, test_labels = read_corpus(train_data_path, vocab2idx, label2idx, flag="test")

# 输出看数据是否对应上了,"呕吐"
# print(train_datas[8])
# print([idx2vocab[idx] for idx in train_datas[8]])
# print(train_labels[8])
# print([idx2label[idx] for idx in train_labels[8]])

# 得到训练数据、训练数据标签
labels = []
datas = []
for i in range(len(train_labels)):
    datas.append([idx2vocab[idx] for idx in train_datas[i]])

train_datas = datas
# print(train_datas)

for i in range(len(train_labels)):
    labels.append([idx2label[idx] for idx in train_labels[i]])

train_labels = labels
# print(train_labels)

# 得到测试数据、测试数据标签
labels = []
datas = []
for i in range(len(test_labels)):
    datas.append([idx2vocab[idx] for idx in test_datas[i]])

test_datas = datas

for i in range(len(test_labels)):
    labels.append([idx2label[idx] for idx in test_labels[i]])

test_labels = labels

# 训练
crf = sklearn_crfsuite.CRF(
    algorithm='lbfgs',
    c1=0.1,
    c2=0.1,
    max_iterations=100,
    all_possible_transitions=True
)

crf.fit(train_datas, train_labels)

labels = list(crf.classes_)
# labels.remove('O')

# 预测
test_pred = crf.predict(test_datas)

sorted_labels = sorted(
    labels,
    key=lambda name: (name[1:], name[0])
)

# 转换成一维数组
label = []
pred = []
for i in range(len(test_labels)):
    for j in range(len(test_labels[i])):
        label.append(test_labels[i][j])

test_labels = label


for i in range(len(test_pred)):
    for j in range(len(test_pred[i])):
        pred.append(test_pred[i][j])

test_pred = pred

print(classification_report(
    test_labels, test_pred, target_names=sorted_labels
))
只须一笑不须愁X
关注
  • 6
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 11
    评论
专栏目录
机器学习之条件随机场（CRF）
seaboat——a free boat on the sea.（公众号：远洋号）
11-09 3万+
什么是CRFCRF即条件随机场（Conditional Random Fields），是在给定一组输入随机变量条件下另外一组输出随机变量的条件概率分布模型，它是一种判别式的概率无向图模型，既然是判别式，那就是对条件概率分布建模。CRF较多用在自然语言处理和图像处理领域，在NLP中，它是用于标注和划分序列数据的概率化模型，根据CRF的定义，相对序列就是给定观测序列X和输出序列Y，然后通过定义条件概率P
使用keras实现BiLSTM+CNN+CRF文字标记NER
09-16
主要介绍了使用keras实现BiLSTM+CNN+CRF文字标记NER，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
BERT-CRF 中文 ner 模型微调
最新发布
05-09
BERT-CRF 中文 ner 模型微调
BERT-CRF-for-Chinese-NER:使用BERT + CRF模型执行中文NER任务
05-11
BERT-CRF-for-Chinese-NER Using BERT+CRF model to do Chinese NER task 如何运行 链接: 密码: 0qtc 请从网盘链接下载bert-chinese预训练模型，放在chinese-bert文件夹下 直接python run_ner.py即可
`sklearn-crfsuite`：集成在Scikit-Learn中的CRF库
gitblog_00083的博客
04-19 728
sklearn-crfsuite：集成在Scikit-Learn中的CRF库 项目地址:https://gitcode.com/TeamHG-Memex/sklearn-crfsuite 项目简介 sklearn-crfsuite是一个Python接口，它将流行的条件随机场（Conditional Random Fields, CRF）实现CRFsuite无缝集成到广泛使用的机器学习库Scik...
Davlan/bert-base-multilingual-cased-ner-hrl NER命名实体识别模型
07-25
huggingface上的Davlan/bert-base-multilingual-cased-ner-hrl命名实体识别模型，包含中英等16种语言的人名、地名、组织识别
NER命名实体识别代码-BiLSTM+CRF
03-12
下载即可运行 1、data文件夹（数据） 2、bilstm_crf_model.py（模型） 3、process_data.py（数据预处理文件） 4、train.py（模型训练文件） 5、val.py（测试文件） 6、model.png（模型结构图）
电商搜索query ner模型训练、预测、部署源码+模型.zip
04-23
电商搜索query ner模型训练、预测、部署源码+模型.zip本项目用于电商平台搜索query的ner识别项目，也可用于其他query，商品spu-name等文本ner任务任务中。支持常见的ner框架： bert+softmax bert+crf bert+span bert+baffine bert+gp 电商搜索query ner模型训练、预测、部署源码+模型.zip本项目用于电商平台搜索query的ner识别项目，也可用于其他query，商品spu-name等文本ner任务任务中。支持常见的ner框架： bert+softmax bert+crf bert+span bert+baffine bert+gp 电商搜索query ner模型训练、预测、部署源码+模型.zip本项目用于电商平台搜索query的ner识别项目，也可用于其他query，商品spu-name等文本ner任务任务中。支持常见的ner框架： bert+softmax bert+crf bert+span bert+baffine bert+gp
ner训练模型
11-20
关于命名实体识别的训练模型，与自然语言处理相关的模型的训练
机器学习：crf
weixin_42721412的博客
12-01 236
参考
【机器学习笔记】：关于CRF
Jack_Kuo的博客
03-24 291
CRF原理：《统计学习方法》 有一个CRF的例子帮助理解：https://www.jianshu.com/p/55755fc649b1
机器学习--条件随机场（CRF）原理和实现
HuFeiHu
11-16 7814
对数域操作函数 class Logspace:     def __init__(self):         self.LOGZERO =np.nan     def eexp(self,x):         if np.isnan(x):             return 0         else:             return np.exp(x)    
机器学习笔记：线性链条件随机场（CRF）
qq_40206371的博客
08-16 532
那么，哪种标注序列最有可能是正确的呢？
CRF进行中文命名实体识别(使用sklearn_crfsuite进行实现)
weixin_43819931的博客
05-22 8697
使用sklearn_crfsuite进行中文命名实体识别
机器学习（十二）~条件随机场(CRF)
布拉拉巴卜拉的博客
08-16 563
机器学习（十二）~条件随机场（CRF）机器学习（十二）~条件随机场(CRF)1. HMM要点1.1 两个假设1.2 三组参数2. MEMM要点2.1 核心思想2.2 存在问题3. 条件随机场(CRF)4. Liner-Chain CRF公式与解析5. CRF三大问题6. CRF应用 机器学习（十二）~条件随机场(CRF) 终于把CRF这关过了，查了好多资料，网上很多资料都模棱两可，看了还是不明就里，建议小伙伴们最好的方法还是老老实实啃论文、啃书，权威又有逻辑，条理清晰，看不进去书的小伙伴们，这篇博客希望可以
【实战】Pytorch BiLSTM + CRF做NER
zenRRan的博客
09-01 1556
来自：机器学习算法与自然语言处理作者：我近视https://zhuanlan.zhihu.com/p/59845590说明： 本篇文章为Pytorch官网上BiLSTM CRF的说明一...
机器学习算法之命名实体识别（NER）详解
DeepViewInsight的博客
09-20 1517
在NLP中，命名实体是文本中具有特定名称或意义的实体。人名（例如：“乔布斯”）地名（例如：“巴黎”）组织机构名（例如：“联合国”）日期和时间（例如：“2023年9月17日”）货币（例如：“美元”）百分比（例如：“50%”）NER的任务是在文本中识别和分类这些命名实体。
BILSTM+CRF用于NER原理与代码详解(+并行化的理解)
jokerxsy的博客
07-30 3631
前言:命名实体识别 命名实体识别的任务就是识别出待处理文本中三大类（实体类、时间类和数字类）、七小类（人名、机构名、地名、时间、日期、货币和百分比）命名实体。 本次实验中，使用Conll2003dataset数据集，其中含有三个文件: 数据集共包含:B-MISC\B-ORG\B-LOC\I-MISC\I-ORG\I-LOC\I-PER\O，这8类实体类型。 原理介绍: 接下来将介绍BILSTM+CRF用于NER,模型用李宏毅老师课中一张生动图表示为: 下层是RNN、LSTM等序列模型，输入单词序列，输出
【Python机器学习】条件随机场模型CRF及在中文分词中实战（附源码和数据集）
showswoller的博客
12-21 1496
【Python机器学习】条件随机场模型CRF及在中文分词中实战（附源码和数据集）
BERT-BILSTM-CRF的中文NER模型
04-28
BERT-BILSTM-CRF是一种常见的中文命名实体识别模型，其基本思路是将BERT预训练模型作为输入，接入双向LSTM层进行特征提取，最后使用CRF层进行实体标注。 具体来说，在BERT-BILSTM-CRF模型中，BERT模型用于将中文文本编码成上下文相关的向量序列，然后将这个向量序列输入到双向LSTM网络中，以提取更高层次、更抽象的特征表示。最后，CRF层将这些特征序列转换为标签序列，即对每个字进行命名实体的标注，从而实现中文命名实体识别。 这种模型在中文命名实体识别任务中表现良好，已经被广泛应用于实际场景中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值