DeepPavlov NER 项目使用教程

DeepPavlov NER 项目使用教程

nerNamed Entity Recognition 项目地址:https://gitcode.com/gh_mirrors/ner/ner

1. 项目的目录结构及介绍

DeepPavlov NER 项目的目录结构如下：

ner/
├── configs/
│   ├── ner_ontonotes_bert.json
│   └── ...
├── deeppavlov/
│   ├── models/
│   │   └── ner/
│   │       ├── __init__.py
│   │       └── ...
│   └── ...
├── README.md
├── requirements.txt
└── ...

目录结构介绍

• configs/: 包含项目的配置文件，如 ner_ontonotes_bert.json。
• deeppavlov/: 包含项目的主要代码文件，其中 models/ner/ 目录下是命名实体识别模型的具体实现。
• README.md: 项目的说明文档。
• requirements.txt: 项目依赖的 Python 包列表。

2. 项目的启动文件介绍

项目的启动文件主要是通过配置文件来启动命名实体识别模型。以下是一个示例命令：

python -m deeppavlov interact configs/ner_ontonotes_bert.json

启动文件介绍

• python -m deeppavlov: 调用 DeepPavlov 模块。
• interact: 启动交互模式，用户可以输入文本进行命名实体识别。
• configs/ner_ontonotes_bert.json: 指定使用的配置文件。

3. 项目的配置文件介绍

配置文件 configs/ner_ontonotes_bert.json 是一个 JSON 文件，包含了模型的各种配置参数。以下是配置文件的部分内容：

{
  "dataset_reader": {
    "name": "conll2003",
    "data_path": "data/conll2003/",
    "provide_pos": false,
    "provide_chunks": false,
    "provide_senses": false
  },
  "dataset_iterator": {
    "name": "data_learning_iterator"
  },
  "chainer": {
    "in": ["x"],
    "in_y": ["y"],
    "out": ["y_predicted"],
    "pipe": [
      {
        "id": "vocabs_pretrained",
        "name": "pretrained_vocabs_extractor",
        "in": ["x"],
        "out": ["x_tokens"]
      },
      ...
    ]
  },
  ...
}

配置文件介绍

• dataset_reader: 定义数据集读取器，包括数据路径和一些参数。
• dataset_iterator: 定义数据集迭代器。
• chainer: 定义模型的流水线，包括输入、输出和各个处理步骤。

通过以上配置文件，可以灵活地调整模型的行为和参数。

nerNamed Entity Recognition 项目地址:https://gitcode.com/gh_mirrors/ner/ner