Q_M_X_D_D_的博客

前两天在GitHub上看到这样一个关系分类抽取模型（地址：GitHub），这个模型的思路大致是将关系抽取转化成对两个实体的关系进行分类，在这里对模型文件进行一下解释记录。 在这个项目中模型的结构定义在relation_extraction/model.py文件中...

本篇解读了基于BERT+CRF做中文NER这篇文章中的代码，在该篇作者的GitHub上可以下载源码：源代码。这段代码对BERT模型的实现较为简洁，删掉了谷歌源代码中我们可能用不到的部分，保留了核心部分。对于那些想要快速上手BERT的同学是非常好的学习机会，在看懂这个之后再去学习谷歌的源代码会更加轻松。BERT-CRF模型之前有写过BERT模型和CRF模型的详解，建议往下看之前一定要了解这两个模型的原理：结合原理和代码来理解bert模型、结合原理与代码理解BiLSTM-CRF模型（pytorch）。B

前言本文主要记录学习使用BiLSTM-CRF模型来完成命名实体识别的过程中，对原理和代码的理解。下面会在对官方示例代码（tutorial）的详细解析中加入对模型原理的解释。在学习原理的过程中主要参考了这两篇博客：命名实体识别（NER）：BiLSTM-CRF原理介绍+Pytorch_Tutorial代码解析，其中有不少图能帮助我们更好地理解模型；Bi-LSTM-CRF算法详解-1，这篇里的公式推导比较简单易懂。下面的解析会借鉴这两篇博客中的内容，建议在往下看前先读一下这两篇了解原理。在BiLSTM-CRF

写在前面前几天阅读了一段bert模型预训练的代码，并写了解析（结合原理和代码来理解bert模型），但是这段代码中的语料是手动添加的两个人的一段对话，不足以显示模型的效果。于是我想用实验室的中医语料数据来训练该模型，由于数据增多，模型也更庞大，于是想把模型及数据迁移到GPU上，过程中遇到了不少的bug，但debug时也了解了一些pytorch模型的运行细节，在此做个记录。pytorch如何使用GPUpytorch调用GPU也很简单，首先在程序最开始指定要使用的设备名称，例如这样：device

写在前面最近在看命名实体识别相关的模型，实验室正好有中医典籍文本的命名实体标注数据集，拿来练练构建一个简单的CRF模型，顺便记录下来，代码可以作为一个参考，手中有标注数据集就可以使用这段代码来训练自己的CRF模型。本次实验用到了sklearn_crfsuite库，这是一个轻量级的CRF库，不仅提供了训练预测方法，还提供了评估方法。数据集的格式大致如下图所示：每行包含一个字和对应的标注，用空行来分隔开每句话。采用了四个符号（B、I、O、S），分别表示实体的起始字、实体的剩余部分、非实体、单字实体。

写在前面本文主要记录在学习https://blog.csdn.net/qq_37236745/article/details/108845470这篇博客中的bert模型代码时，我所理解的和学到的东西。本文会结合bert模型原理对这篇博客中的代码进行逐行逐句细致的解析，一些实在看不懂的地方会略过，一些错误的地方希望大家指正。源代码首先贴上博客中的源代码，其中有我添加的补充注释，如果有兴趣也可以继续往下看更加详细的解析。这段代码实现了bert模型的预训练任务，语料是两个人的几句英文对话，方便把注意力

概念知识图谱是人工智能技术发展的必然趋势，人工智能要想从感知智能走向认知智能，就需要构建一个满足自然语言处理和理解需求的全方位、高精度的知识库。知识图谱本质上是一种大规模的语义网络，由实体、属性、关系组成。“实体”是知识图谱中的基本元素，可以是世间万物；“属性”是对实体特征的一种描述；“关系”是两个实体间存在的关联。在知识图谱中，表示实体间关系的基本单位为（实体，关系，实体）三元组，而实体的属性由“属性—值”对来表示，如果将实体与实体的属性也看做是一个关系的话，可以将“属性—值”重构为（实体，属性，