NLP数据标注错误的修正方法

最新推荐文章于 2024-08-21 21:59:29 发布

小基基o_O

最新推荐文章于 2024-08-21 21:59:29 发布

阅读量626

点赞数 1

本文链接：https://blog.csdn.net/Yellow_python/article/details/117711379

版权

自然语言处理-应用级专栏收录该内容

15 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

本文介绍了自然语言处理（NLP）数据标注中常见的错误，并提供了修正这些错误的方法，包括利用正则表达式的规则以及运用机器学习技术来提高标注数据的质量，从而确保训练出更准确的模型。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

标注数据不纯，导致训练出来的模型不行

文章目录

标注错误示例
原理图
修正方法
- 规则（NLP可用正则表达式）
- 机器学习

标注错误示例

示例	说明	是否标注错误
【物流很快，日期新鲜】标注为【差评】	标签错误	是
【流青云出演拆弹砖家2】标注为【电影】	错别字	不是

原理图

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

小基基o_O

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

数据集标注错误的影响

yang_daxia的博客

03-31

1460

ImageNet验证集6%的标签都是错的，实际使用时也是会有标注错误。所有有时大模型等结果没有比小模型好，可能是数据噪声导致的。在存在大量标注错误的现实世界数据集中，小容量模型可能比大容量模型更有用。举个例子，从基于原始给定标签的测试准确率来看，NasNet 似乎要优于 ResNet-18，但如果用标签修正之后的测试集进行测试，NasNet 的准确率其实比不上 ResNet-18。由于后者在现实中更为重要，在这种情况下，我们在现实中部署的也应该是 ResNet-18，而不是 NasNet。 https:

寻找错误标注数据策略

yang_daxia的博客

01-12

578

简单方法使用训练好的模型，得到预测结果和标注结果比对，不一样的可能为noise 的数据缺点：需要有训好的模型，模型不能过拟合 AUM 度量：所有训练epoch 的标注位置的值与其他位置的最大值的差值的平均。标注位置的值与其他位置的最大值的差值的平均：越大说明标注越正确，越小或者为负数说明不正确。 Identifying Mislabeled Data using the Area Under the Margin Ranking ...

1 条评论您还未登录，请先登录后发表或查看评论

数据集中存在错误标注怎么办？置信学习帮你解决

喜欢打酱油的老鸟

01-01

5663

2019-12-29 18:15 导语：本文讨论了一个新兴的、原则性的框架，用于识别标签错误、描述标签噪声，并使用被称为置信学习（CL）的噪声标签进行学习。如果你曾经使用过诸如 CIFAR、MNIST、ImageNet 或 IMDB 之类的数据集，那么你可能会假设类标签是正确的。令人吃惊的是，ImageNet 中可能至少有 10 万个标签有问题。为什么我们不早点找到它们？在海量数据集...

错误标注太多，不想人工检查？试试置信学习来自动找错

OpenDataLab的博客

08-27

2121

众所周知，在机器学习中，测试集是我们用来衡量模型性能的基准。但是，在实际工作中，我们或许会遇到这样一个问题，那就是不论用何种手段获取到的标注数据，都或多或少存在一些标注错误，这对模型精度的提升是一个不可忽视的问题。

Coursera | Andrew Ng (03-week2-2.2)—清除标注错误的数据

Self Improvement Lab

01-26

2235

该系列仅在原课程基础上部分知识点添加个人学习笔记，或相关推导补充等。如有错误，还请批评指教。在学习了 Andrew Ng 课程的基础上，为了更方便的查阅复习，将其整理成文字。因本人一直在学习英语，所以该系列以英文为主，同时也建议读者以英文为主，中文辅助，以便后期进阶时，为学习相关领域的学术论文做铺垫。- ZJ Coursera 课程 |deeplearning.ai |网易云课堂

数据标注：文本数据标注流程介绍.pptx

06-03

文本数据标注作为其中的一种，对于自然语言处理（NLP）、情感分析、聊天机器人等应用场景尤其重要。本文将详细介绍文本数据标注的基本流程及其各个阶段的具体操作。 #### 一、预处理 **预处理**是整个文本数据标注...

【AI大模型应用开发实战】数据标注：标注工具与方法应用

AI天才研究院

01-22

3328

随着人工智能技术的飞速发展，尤其是大规模预训练模型（如GPT-3、BERT等）的出现，数据与标注的质量和数量成为了影响模型性能的关键因素。大模型需要海量的数据进行训练，而这些数据必须经过精心的标注，以保证模型能够理解和生成高质量的输出。数据是指用于训练模型的原始信息集合，可能包括文本、图像、音频等多种形式。对于大模型来说，数据的多样性和覆盖面至关重要。标注是指对原始数据进行附加信息的过程，例如对文本进行分词、命名实体识别，或者对图像进行物体识别等。标注的质量直接影响模型的理解能力和输出质量。

一文搞懂数据标注

最新发布

女王の专属领地

08-21

6330

数据标注即通过分类、画框、标注、注释等，对图片、语音、文本等数据进行处理，标记对象的特征，以作为机器学习基础素材的过程。简言之，就是需要给数据做好标注，这样机器就能知道学习哪些内容。

【语言数据标注技巧提升】：数据标注与自然语言处理，提升标注技巧的关键方法！

本文综合分析了数据标注与自然语言处理（NLP）的基础知识，核心概念，以及提升数据标注技巧的方法论。探讨了NLP技术在数据标注中的应用，包括预处理技术、智能标注工具和机器学习模型。通过分析实践案例，本文还讨论...

2.2 清除标注错误的数据

Claroja

02-12

253

Spark和Hive的结合（让hive基于spark计算）

01-07

spark和hive结合 1.安装mysql 2.在spark/conf中创建一个hive-site.xml javax.jdo.option.ConnectionURL jdbc:mysql://192.168.224.132:3306/hive?createDatabaseIfNotExist=true JDBC connect string for a JDBC metastore javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver Driver

第二周机器学习（ML）策略（2）：2.2 清楚标注错误的数据

xpj8888的博客

08-10

746

第一章、简介本文基于吴恩达人工智能课程做学习笔记、并融入自己的见解(若打不开请复制到浏览器中打开)https://study.163.com/courses-search?keyword=吴恩达。本文第二章将介绍清楚标注错误的数据。第二章、清楚标注错误的数据 2.1、数据集中存在被错误标准的例子你的监督学习问题的数据由输入X和输出Y构成，如果你观察一下你的数据并发现有些输出标签Y是错的。这些输出标签 Y 是错的，表明你的数据有些标签是错的。那么我们是否值得花时间...

吴恩达深度学习03-2.2 清楚标注错误的数据

lyy的博客

12-23

1462

目录训练集标注错误随即错误规律性错误测试集或者验证集出现错误其他需要注意的原则训练集标注错误有时候，我们的训练集数据标签并不是正确的，而是存在一些错误的标签的，对于其不同的错误情况，我们有不同的处理措施。随即错误即训练集中标注错误的数据是随机的，没有特定的规律可言，在这种情况下，我们可以不做处理。因为神经网络对于随机误差的鲁棒性是很高的。规律性错误这种情况往往是由于某种有规律的错误标注导致的。举个例子，倘若你的神经网络要识别一张图像中有没有猫，而训练集中所有图像中有白色的狗的图像都被

语音识别(ASR)论文优选： 数据标注错误对RNN-T影响Investigation of Training Label Error Impact on RNN-T

低调奋进

12-03

1721

声明：平时看些文章做些笔记分享出来，文章中难免存在错误的地方，还望大家海涵。搜集一些资料，方便查阅学习：http://yqli.tech/page/speech.html。语音合成领域论文列表请访问http://yqli.tech/page/tts_paper.html，语音识别领域论文统计请访问http://yqli.tech/page/asr_paper.html。如何查找语音资料请参考文章https://mp.weixin.qq.com/s/eJcpsfs3OuhrccJ7_BvKOg）。如有转载，请

自动查找并修正机器学习数据集中错误的标签: Cleanlab v2.0

weijinglok的博客

04-26

1705

网友们，我们最近发布了 cleanlab 2.0版本，cleanlab 将利用机器学习算法自动查找并分析真实世界的数据集中错误的数据标签，再将其做出修正。简单来说，cleanlab 为与数据标签有关的AI程序提供更高效的框架。去年1.0版本发布后，中国平安的工程师们在cleanlab的帮助下为稳建模型进行电子商务产品分类。Amazon的工程师们则利用cleanlab来对Alexa设备不被唤醒的几率进行估计。富国银行(Wells Fargo)也使用 cleanlab 研发可靠的财务预测模型。此外，c

hive3.1.4源码编译兼容spark3.0.0 hive on spark hadoop3.x修改源码依赖步骤详细

weixin_52918377的博客

05-21

7473

hive编译自从CDH宣布收费之后，公司决定使用开源的组件，对现有的大数据集群进行替换。使用hive3.1.2和spark3.0.0配置hive on spark的时候，发现官方下载的hive3.1.2和spark3.0.0不兼容，hive3.1.2对应的版本是spark2.3.0，而spark3.0.0对应的hadoop版本是hadoop2.6或hadoop2.7。所以，如果想要使用高版本的hive和hadoop，我们要重新编译hive，兼容spark3.0.0。目前，有关hive3.1.2编译的

一百零六、Hive312的计算引擎由MapReduce(默认)改为Spark（亲测有效）

tiantang2renjian的博客

04-24

4054

Hive312的计算引擎由MapReduce(默认)改为Spark

Hive3 on Spark3配置

liuwei0376的专栏

11-09

2778

之后，将 HDFS 路径“hdfs://cdh01:8020/spark-jars/*”下的原始 “zstd-jni-1.4.4-3.jar” 删除，并替换为 “zstd-jni-1.4.9-1.jar” 后（如上图所示），经再度测试，该问题就解决了。：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。: Hive只作为存储元数据，Spark负责SQL解析优化，语法是Spark SQL语法，Spark负责采用RDD执行。

Hive引擎替换为Spark（Hive on Spark）