Doccano工具使用教程：创建Doccano项目、数据导入、添加指引、创建标签、文本标注（Doccano工具/NLP实战/命名实体识别/关键信息抽取/Token分类/文本分类/序列标注）

已于 2023-09-16 18:20:07 修改
阅读量4.7k 收藏 30
点赞数 9
分类专栏： 工具教程与技巧 文章标签： 命名体识别 语言模型 pytorch 自然语言处理
于 2023-08-07 14:02:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_50592077/article/details/132144960
版权

这篇文章是专门使用Doccano进行标注的教程，安装教程看这篇：

Doccano工具安装教程/文本标注工具/文本标注自己的项目/NLP分词器工具/自然语言处理必备工具/如何使用文本标注工具_会害羞的杨卓越的博客-CSDN博客

NER项目实战看这篇（对代码进行了逐行解读）：

NER实战：(NLP实战/命名实体识别/文本标注/Doccano工具使用/关键信息抽取/Token分类/源码解读/代码逐行解读/文本BIO处理/文本分类/序列标注)_会害羞的杨卓越的博客-CSDN博客

1 项目创建

网址右上角，有中文选项

点击创建后：


文本分类是整个文本对应一个标签，我们选择序列标注这个选项。

取个名字，写个描述就行，下面那些先都不用管： 

这个时候你们发现了一个小问题，你每进一个界面都需要重新切一下中文（没关系，使用熟练后你会记住这些英文，就当学习了）

点击创建就行了。

然后这里每一步都需要你看一个视频，太墨迹了，自己看吧，还需要翻墙哦。

2 导入数据集

直接点左边的数据集--->-操作-->导入数据集：

选择本篇文章对应提供的资源中，依次路径为ner--->ner-label--->train.txt

  在网址页面中，选择TestLine（因为我们是一行一个文本），编码选择默认的utf-8，然后选择数据集：

 点个导入就ok了，一共有个20条：

3 创建标签

然后再点一下左侧的labels标签--->创建标签：

 这里有标签名，快捷键key，选择一下标签颜色。

比如我们文本里面有很多时间，我选择一个year，选择快捷键为y，第二个色块作为颜色，点击保存添加下一个：

根据我们的文本，我就选择了这3个标签，年、考试、地点：

这只是一个简单的实例，你在掌握之后可以根据自己的项目情况来处理。

4 添加指引

 这就是我们的标签，我们可以再加上一个指导，在guideline处：

随便写一些： 

 这是markdown的语法，左边输入，右边markdown输出，写完指引后，就可以去标注了。

这里只是一个简单实例，你可以根据实际的项目进行调整。

这个指引的目的就是，标注的时候会给你一些提示，在Doccano中一共有三种角色来使用。分别是项目管理人员的角色、标注人员的角色、审核人员的角色。

所以如果是标注人员在进行标注的时候，可以看到项目管理人员写的标注规则，这样可以指引和约束标注人员了。

在标注的时候，点击一下标注规则的页面：

5 标注文本

标注的简单流程

  • 点击数据集
  • 选中一条文本，右边点击标注
  • 进入标注页面，选择一个词就会弹出标签
  • 选择标签

看左上角的×或者√，这是审核人员的审核通过和不通过，Doccano可以一个项目多人操作，可以分配三种角色，分别为审核人员、标注人员、管理人员，点击show guideline可以出现刚刚写的标注指导。

点击右上角的类似于小于号的按钮对下一个词进行标注，对于没有可以标注的词，就直接删除它。全部标完，我们可以将数据集导出，默认选择json格式，后续有文本分类的任务可以选CSV格式：

导出后，下载下来，解压到自己项目的路径就行了。

最后下载出来的文件解压出来，格式就是：你的用户名.jsonl

 这就是最后的数据了，你的NER任务在标注环节就全部结束了，你可以把数据放到 你的项目进行处理训练了。

在我的博客中还有很多有价值的内容

到了这里就可以开始创建自己的项目了，你已经完成了doccano文本标注工具的构建。

陆续更新中，有用的话拜托点赞收藏哦。

后续的项目创建，以及如何进行分词，中文分词，请参考这篇文章：

NER实战：(NLP实战/命名实体识别/文本标注/Doccano工具使用/关键信息抽取/Token分类/源码解读/代码逐行解读)_会害羞的杨卓越的博客-CSDN博客

我的主页还有许多其他非常有价值的NLP内容

Transformer提出文章论文精读：

Transformer:《Attention is all you need》(论文精读/原理解析/模型架构解读/源码解析/相关知识点解析/相关资源提供)_会害羞的杨卓越的博客-CSDN博客

Transformer解读：

Transformer算法解读（self-Attention/位置编码/多头注意力/掩码机制/QKV/Transformer堆叠/encoder/decoder）_会害羞的杨卓越的博客-CSDN博客

Hugging Face实战：

Hugging Face实战（NLP实战/Transformer实战/预训练模型/分词器/模型微调/模型自动选择/PyTorch版本/代码逐行解析）上篇之模型调用_会害羞的杨卓越的博客-CSDN博客

bert系列算法

BERT系列算法解读:（RoBERTa/ALBERT/DistilBERT/Transformer/Hugging Face/NLP/预训练模型/模型蒸馏）_会害羞的杨卓越的博客-CSDN博客

包括一些大方向的内容：

深度学习五大基本网络_常用深度学习网络_会害羞的杨卓越的博客-CSDN博客

机器学习算法（全教程/全解析/源码全解/实战教程）_会害羞的杨卓越的博客-CSDN博客

人工智能的分类：机器学习/专家系统/推荐系统/知识图谱/强化学习/迁移学习/特征工程/模式识别_会害羞的杨卓越的博客-CSDN博客

计算机视觉：

openCV基础教程_会害羞的杨卓越的博客-CSDN博客

陆续更新中，有用的话拜托点赞收藏哦。

机器学习杨卓越
关注
  • 9
    点赞
  • 踩
  • 30
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 7
    评论
专栏目录
深度学习自然语言处理工具 知识图谱关系抽取 中文分词 词性标注 命名实体识别 情感分析 新词发现 关键词 文本摘要 文本聚类
06-24
Jiagu自然语言处理工具 Jiagu使用大规模语料训练而成。将提供中文分词、词性标注、命名实体识别、情感分析、知识图谱关系抽取、关键词抽取、文本摘要、新词发现、情感分析、文本聚类等常用自然语言处理功能。参考了各大工具优缺点制作，将Jiagu回馈给大家。 目录 安装方式 使用方式 评价标准 附录说明 提供的功能有： 中文分词 词性标注 命名实体识别 知识图谱关系抽取 关键词提取 文本摘要 新词发现 情感分析 文本聚类 等等。。。。 安装方式 pip安装 pip install -U jiagu 如果比较慢，可以使用清华的pip源：pip install -U jiagu -i https://pypi.tuna.tsinghua.edu.cn/simple 源码安装 git clone https://github.com/ownthink/Jiagu cd Jiagu python3 setup.py install 使用方式 快速上手：分词、词性标注、命名实体识别 import jiagu #jiagu.init() # 可手动初始化，也可以动态初始化 text =
[NLP] doccano标注平台安装及自动标注相关依赖
Dearyc1的博客
06-12 209
【代码】[NLP] doccano标注平台安装及自动标注相关依赖。
【doccano】文本标注工具——安装运行教程
urge的博客
11-28 2229
doccano是一个开源的文本注释工具。它为文本分类、序列标记和序列到序列任务提供注释功能。您可以为情感分析、命名实体识别、文本摘要等创建标记数据。只需创建项目、上传数据并开始注释即可。你可以在几个小时内建立一个数据集。用户友好的界面：提供直观的界面设计，支持直接在网页上进行文本标注。多人协作：支持多人同时进行文本标注和校对，可以提高工作效率。多样化的数据格式支持：可以导入和导出多种数据格式，方便用户灵活处理标注数据。
文本数据标注工具Doccano
热门推荐
weixin_40547993的博客
10-24 1万+
doccano是一个开源文本标注工具。 它提供了文本分类，序列标注和序列到序列的标注功能。 因此，您可以为情绪分析，命名实体识别，文本摘要等创建标记数据。 只需创建项目，上传数据并开始标注。 总结下来就3步，上传数据，标注，下载带有标签的数据。 命名实体识别 第一个演示是序列标记任务之一，命名实体识别。 您只需选择文本跨度并对其进行标注即可。 由于doccano支持快捷...
NER命名体识别：文本标注工具Doccano配置方法/命名实体识别任务标注方法实例/标注导出与BIO处理/标签处理并完成对齐操作
07-17
命名实体识别（Named Entity Recognition，NER）是自然语言处理领域的一项关键任务，旨在从文本中识别和分类特定的命名实体，如人名、地名、组织机构名等。NER的目标是标记文本中的实体，并将其归类到预定义的实体...
自然语言处理数据集（NLP）-中文命名实体识别数据集.rar
11-12
自然语言处理（NLP）是计算机科学领域的一个重要分支，主要关注如何使计算机理解、解析、生成和操作人类自然语言。在NLP中，中文命名实体识别（Chinese Named Entity Recognition, CNER）是一项核心任务，它涉及到从...
doccano自然语言标注工具
12-29
doccano是一款开源的、基于Web的自然语言处理（NLP）标注工具，它在NLP领域中被广泛用于文本分类、命名实体识别（NER）、句法分析、情感分析等多种任务。这款工具的出现极大地简化了数据预处理阶段的工作，使得研究...
doccano：基于网页的开源协同多语言文本标注工具-python
06-18
doccano：基于网页的开源协同多语言文本标注工具 doccano doccano 是一个开源的人类文本注释工具。 它为文本分类、序列标记和序列到序列任务提供注释功能。 因此，您可以为情感分析、命名实体识别、文本摘要等创建...
PyTorch计算机视觉之Vision Transformer 整体结构
brucexia的专栏
07-22 991
Vision Transformer（ViT）模型是最新提出将注意力机制应用在图像分类的模型。Vision Transformer算法会将整幅图像拆分成小图像块，然后把这些小图像块的线性映射序列作为注意力模块的输入数据送入网络，然后进行图像分类的训练。
pytorch中常见的模型3种组织方式 nn.Sequential(OrderedDict)
qq_37293230的博客
07-23 259
【代码】pytorch中常见的模型3种组织方式 nn.Sequential(OrderedDict)
【PyTorch】单目标检测项目
Frost_Descent的博客
07-23 1865
将中央凹中心预测为眼睛图像中的x和y坐标，构建一个由多个卷积层和池化层组成的模型。 该模型将接收调整好的RGB图像，提供与中央凹坐标相对应的两个线性输出。模型将利用ResNet论文Deep Residual Learning for Image Recognition中介绍的skip connection跳跃连接技术。
pytorch中的zero_grad()执行时机
qq_37293230的博客
07-23 220
在反向传播(backward())前执行即可 zero_grad() 用以清除优化器的梯度 对张量执行backward(),以计算累积梯度 执行optimizer.step(),优化器使用梯度更新参数 当优化器更新完成,梯度即失去意义,即可以清除,为保证下一次梯度开始累积时为0,则在下一次执行反向传播前清除即可
为Jetson Xavier NX安装合适版本的pytorch（解决torch not compiled with cuda enabled）
z5z5z5z56的博客
07-23 307
解决torch not compiled with cuda enabled
【Pytorch实战教程】Pytorch中model.train()和model.eval()的作用
惊鸿若梦一书生
07-22 277
在 PyTorch 中，`model.train()` 和 `model.eval()` 用于设置模型的`训练模式`和`评估模式`，它们的作用主要涉及模型中的特定层如批归一化（Batch Normalization）和丢弃（Dropout）等。
Pytorch使用教学6-张量的分割与合并
最新发布
Antai_ZHU的博客
07-25 862
在使用PyTorch时，对张量的分割与合并是不可避免的操作，本节就带大家深刻理解张量的分割与合并。
PyTorch手写体数字识别实例
brucexia的专栏
07-23 1072
或者读者也可以在网上搜索MNIST的下载地址，下载MNIST文件中包含的数据集train-images-idx3-ubyte.gz（训练图片集）、train-labels-idx1-ubyte.gz（训练标签集）、t10k-images-idx3-ubyte.gz（测试图片集）和t10k-labels-idx1-ubyte.gz（测试标签集），如图2-23所示。可以看到，随着模型循环次数的增加，模型的损失值在降低，而准确率在提高，具体请读者自行验证测试。模型的训练结果如图3-5所示。图3-5 训练结果。
pytorch中的面向对象编程方法
BUAAer_xuyang的博客
07-23 1092
我们可以经常在python代码片段中看到类的定义，其中第一个被定义的方法往往是__init__，如下所示： 我们知道__init__显然是类的构造函数，但为什么要在前后都加上双下划线呢？原来这是python设计的一种特殊方法，它别称为魔法方法，它可以被运算符隐式调用，下面给出示例： 可以发现，所谓魔法方法，实质上实现的就是c++中运算符重载的功能。 它让test.__getitem__(2)和test[2]这两种语法都能调用该方法！对于更多的python的魔法方法，可以看看下面这一篇文章：Pytho
【Pytorch】cumsum的实现逻辑
weixin_45207619的博客
07-23 1103
使用对数进行计算是便于计算出的x的结果可以整除，关键点在于最后平衡二者的比例的那行代码。可以预见，在某些情况下由于待处理数据的大小超过512造成线程块不能够完全分配的情况，此时就需要顾及线程块的比例，那么如果两个维度上线程块的对数值分别为x和y，对应的线程数分别为X，Y，也即。该函数内部最重要的是后面的条件结构，首先如果元素的总数和当前维度的元素个数相同，也即tensor是一维的，直接利用cub的前缀扫描方法，如果元素的总数和当前维度的元素个数不同，又分为最内层的维度，也即最后一维，以及其他情况。
doccano安装教程
07-14
以下是doccano的安装教程： 1. 确保你已经安装了Python和pip。如果没有安装，请先安装它们。 2. 打开终端，使用以下命令来克隆doccano的代码库： ``` git clone https://github.com/doccano/doccano.git ``` 3. 进入doccano目录： ``` cd doccano ``` 4. 创建并激活一个Python虚拟环境： ``` python3 -m venv venv source venv/bin/activate ``` 5. 安装依赖项： ``` pip install -r requirements.txt ``` 6. 运行数据库迁移命令以创建数据库： ``` python manage.py migrate ``` 7. 创建超级用户（管理员账号）： ``` python manage.py createsuperuser ``` 8. 运行doccano： ``` python manage.py runserver ``` 9. 在浏览器中访问 http://localhost:8000/ ，你应该能够看到doccano的登录页面。 这样，你就成功安装了doccano。你可以使用超级用户账号登录并开始使用它进行文本标注、注释等操作。记得在生产环境中配置适当的安全措施和服务器设置。
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

机器学习杨卓越

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值