python如何从零实现命名实体识别（NER）

写在前面

大学生们要写毕业设计（论文）了，有朋友理论部分已经写完了却不会编码。那么针对NLP（自然语言处理）的一个常见任务实体识别应该如何编码呢？今天我们以 Python 语言为例，使用Spacy自然语言处理库来完成一个实体识别的demo。

你需要具备的知识

1. 可以写简单的 python 代码；

2. 知道依赖包的运用；

环境依赖

1. spacy==3.1.6

2. en_core_web_sm==3.1.0
   python 3.8+

我们的代码要做什么？

这一步我会描述代码会做什么，同时给出软件代码。

因为这是一个简单的示例，实现基本的实体识别。我们不会进行任何专业的配置，旨在让大家熟悉整个流程。后续，可以自行扩展学习。

文件名称：client.py代码如下：

import spacy  

# 加载语言模型
nlp = spacy.load("en_core_web_sm")  
sample_text = "Over 200 youth from Kisumu County in Kenya, have today gotten a chance to take  part in a Golf programme by Safaricom held at Lolwe Grounds."  
# 将待处理文本放入管道处理
doc = nlp(sample_text)  
# 遍历并输出所有的命名实体及对应的标签 
for ent in doc.ents:  
    print(ent, ent.label_)

测试程序代码

这一步我们会在 pycharm 中运行代码程序，确保其行为符合预期。
效果图
点击绿色运行按钮，启动程序

其中

实体标记	中文名称
CARDINAL	数字实体
GPE	国家/地区
ORG	组织
FAC	建筑设施

可见共识别出了6个命名实体

Over 200 CARDINAL
Kisumu County GPE
Kenya GPE
today DATE
Safaricom ORG
Lolwe Grounds FAC

问题

1. 运行失败
   请检查你的python版本和依赖版本是否正确。

2. 如何安装模型en_core_web_sm
   spacy包安装成功以后，直接在终端（Terminal而不是Python Console）运行以下命令

python -m spacy download en_core_web_sm   

如果因为网络等问题无法完成安装，也可手动下载安装 模型下载地址：https://github.com/explosion/spacy-models/releases/tag/en_core_web_sm-3.1.0
你会得到文件：en_core_web_sm-3.1.0-py3-none-any.whl

模型文件所在目录启动终端（terminal），运行以下命令安装

`pip install en_core_web_sm-3.1.0-py3-none-any.whl` 

未提示错误则表示安装已**成功**

结尾

我们从零开始完成了一个命名实体识别的代码程序。但是这还远远不够，可能你现在会想中文可以吗？我可以自定义实体类型吗？我可以添加实体词典吗？未来，我们可以就这些问题进行深入学习。我也可以提前告诉你，这些都可以实现。

​

感兴趣的小伙伴，赠送全套Python学习资料，包含面试题、简历资料等具体看下方。

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python必备开发工具

工具都帮大家整理好了，安装就可直接上手！

三、最新Python学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、Python视频合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

六、面试宝典

简历模板

若有侵权，请联系删除