《Dataset Cartography: Mapping and Diagnosing Datasets with Training Dynamics》——阅读笔记

最新推荐文章于 2025-04-26 18:32:26 发布

CLiterature

最新推荐文章于 2025-04-26 18:32:26 发布

阅读量645

点赞数 19

文章标签：笔记人工智能深度学习数据分析

本文链接：https://blog.csdn.net/weixin_60302661/article/details/144686152

版权

数据集制图：用训练动态映射和诊断数据集

原文链接：[2009.10795] Dataset Cartography: Mapping and Diagnosing Datasets with Training Dynamics

1、引言

数据地图(Data Maps)——一种基于模型的工具，用于表征和诊断数据集

数据地图长啥样可以看下面这张图

该地图揭示了数据集中三个不同的区域：一个区域包含真类概率在训练期间频繁波动（高变异性）的实例，因此对于模型来说是模糊的；一个区域包含容易学习的实例，模型能够正确且一致地预测（高置信度，低变异性）；以及一个区域包含难以学习的实例，具有低置信度、低变异性，我们发现其中许多是在标注过程中被错误标注的。

用途：数据地图可以作为诊断大型数据集的有效工具

2、使用训练动态映射数据集

如何定义置

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

CLiterature

关注关注

19
点赞
踩
20

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Cartography 项目使用教程

gitblog_00003的博客

06-25

379

Cartography 项目使用教程 cartography Dataset Cartography: Mapping and Diagnosing Datasets with Training Dynamics 项目地址: https://gitcode.com...

AllenAI | 用GPT-3帮助增建数据，NLI任务直接提升十个点！？

夕小瑶科技说

01-19

2774

文 | iven编 | 小轶用机器构建数据集，这件事可能比机器学习诞生的还要早，很多人做过很多工作。怎样让机器参与进来？前人的工作可以分成两类思路：一类是以远程监督为代表，让机器来标注，主...

参与评论您还未登录，请先登录后发表或查看评论

优质 Idea 分享

weixin_45683677的博客

07-10

186

1. Chinese bert 融合字形与拼音信息的中文预训练模型 2. autoformer 对时间序列的升级改造

【Python 学习笔记】 pip指令使用

老衲的少女心i~

04-23

278

当前文章记录的是我在学习过程的一些笔记和思考，可能存在有误解的地方，仅供大家参考，欢迎大家有问题指出~提示：以下是本篇文章正文内容，下面案例可供参考pip是一个现代的，通用的Python包管理工具。提供了对Python 包的查找、下载、安装、卸载功能，便于我们对Python的资源包进行管理。

Python学习笔记（三）（程序流程控制）

wsys_yysn的博客

04-24

924

条件语句：通过实现分支逻辑。循环语句for遍历序列，while满足条件时循环。流程控制break终止循环，continue跳过当前迭代，pass占位。异常处理保证程序健壮性。掌握这些流程控制工具，可以编写更灵活、高效的 Python 程序！

BiliNote：开源的AI视频笔记生成工具，让知识提取与分享更高效——跨平台自动生成结构化笔记，实现从视频到Markdown的智能转化

这里汇聚了前沿的技术分享与实用的开发技巧，带你探索从创意到企业的技术创业之路。

04-25

281

BiliNote通过开源技术与智能算法的结合，让视频内容的价值释放变得触手可及。无论是学生、研究者还是内容创作者，都能借助这一工具高效地将动态视频转化为结构化知识。随着开源生态的扩展，我们期待看到更多创新功能的涌现，真正实现“让知识流动更自由”。，将视频内容转化为结构清晰的Markdown笔记，支持截图插入、原片跳转链接，并兼容本地语音转写模型与多种大语言模型（LLM），为学习者与创作者提供了。随着知识视频化趋势的加速，B站、YouTube等平台成为学习与信息获取的重要渠道，但。

【pytorch学习】土堆pytorch笔记1

qq_61814350的博客

04-22

909

常用的图像预处理方法，一般用于转换图片格式有多个图片处理方法，如：PIL：用PIL的Image工具打开numpy：用OpenCV打开。

【Python笔记 03 】运算符

weixin_42728126的博客

04-22

257

取商的整数部分，向下取整（不管四舍五入规则，只要后有小数全部忽略）。使用算数运算符，若有浮点数，结果必定会用浮点数表示。幂（优先级最高）>乘、除、取余、取整数>加减。只取余数部分，5/2=2（商）余1。③ 可以用()调整计算的优先级。② 同级运算符从左往右计算；如果除数为0即报错提示。m**n=m的n次方。

gem5 笔记01 gem5 基本应用流程

eloudy的专栏

04-23

381

这里复制一份完整的代码，方便阅读requires(# booted.yield True},

黑马Java基础笔记-3

IKUNIKUNIKUNikun的博客

04-23

613

sout(arr)*打印出来是就是这个数组存在堆内存的地址值。776ec8df : 才是数组真正的地址值，（十六进制）D : 表示当前数组里面的元素都是double类型的。通过数组的索引可以获取到这个数组索引位置的具体值。平时我们习惯性的会把这个整体叫做数组的地址值。字符类型：默认初始化值’/u0000’空格。引用数据类型：默认初始化值null。布尔类型：默认初始化值false。扩展：解释一下地址值的格式含义。小数类型：默认初始化值0.0。普通的变量存储的真是的数据。整数类型：默认初始化值0。

OpenGL学习笔记（Blinn-Phong、伽马矫正、阴影）

lzh804121985的博客

04-23

988

Blinn-Phong和Phong的区别、伽马矫正的理解、阴影生成

考研英一学习笔记

a16675900046的博客

04-24

1226

题目解析第 26 题：根据第一段 “with record-high home prices and historically low inventory” 可知，新英格兰地区住房供应处于很低水平，A 选项正确。B 选项 “其社区需要资金” 文中未提及；C 选项 “其租赁空置率正在缓慢上升” 与文中租赁空置率下降不符；D 选项 “其房价受到严格控制” 文中未体现。

18487.1-2015-解读笔记之四-交流充电之流程分析

h709838302的博客

04-23

261

桩端检测到CP电压从9V变化成6V后，闭合K1,K2（交流接触器/继电器），开始充电；车端主动停止充电时，断开S2，桩端检测到CP电压由6V变成9V，断开K1,K2；充电连接阶段CC（电阻由无穷大到R4+RC）和CP（12V-9V）监测到插枪.桩端主动停止充电时，断开S1，停止输出PWM，确认S2断开后，断开K1,K2;前面简单分析了国标交流充电桩插枪监测逻辑和PWM控制逻辑，下面简单分析一下交流充电流程。（告知车端，桩端就绪）；充电过程中实时同步PWM波（当前输出能力给桩端）；

凤凰架构-笔记

千里之行，始于足下

04-22

455

::info💡 根据：如果没有记录和回顾，6天后便会忘记75%的内容已读完。

5.学习笔记-SpringMVC(P53-P60)

zsysingapore的博客

04-23

415

insert into 表名（type）这边的type变量是表中的type属性。对于web容器（getServletConfigClass，应对web请求处理的），我们需要加载的是SpringMVCConfig.class。比如注入的bookDao在idea中目前不存在，spring没有配置bookDao的Bean（因为用的自动代理）。（1）spring核心容器的组件完成配置（SpringConfig）（5）web容器配置类（servletConfig）（2）响应数据（异步提交）：文本数据、json数据。

黑马商城-微服务笔记

西洼工作室的博客

04-23

881

需求：在网关中基于过滤器实现登录校验功能提示：黑马商城是基于WT实现的登录校验，目前相关功能在hm-service模块。我们可以将其中的WT工具拷贝到gateway模块，然后基于GlobalFilter来实现登录校验。

嵌入式学习笔记 - I2C通信

qq_35771411的博客

04-22

338

主机向某从机写数据的具体过程如下，开始时SCL，SDA均为高电平，主机拉高SCL，拉低SDA发送起始信号，然后发送从设备地址以及写bit，发送地址的具体过程是主机通过拉高SCL时发送一位SDA bit值，拉低SCL时改变成下一位SDA bit值，待SCL再拉高时发送此位bit，也就是说一个SCL周期发送一位SDA bit数据，之后主机拉高SCL电平，获取从机发送的SDA状态，然后主机拉低SCL，从机更改SDA状态，然后主机拉高SCL状态，获取从机SDA状态，如此循环往复得到从机数据。

day32 学习笔记

2302_77067662的博客

04-25

729

霍夫变换的基本原本原理及其在OpenCV中的应用方法

Spring 学习笔记之 @Transactional 异常不回滚汇总

最新发布

freeRoad

04-26

863

使用springboot时，只要引入spring-jdbc/jpa相关的依赖后，在想要启用事务的方法上加上@Transactional注解就能开启事务，碰到异常就能自动回滚。大大的提高了编码的便捷性性，同时也不侵入代码，保持了代码的简洁性。默认情况下，Spring时使用的Spring AOP （mode=Mode.Proxy， proxyTargetClass=false)方式启动数据库事务拦截。只有了解清楚了具体背景，才能清除知道事务为什么在碰到异常时没有能够正确回滚。

from datasets import load_dataset ModuleNotFoundError: No module named 'datasets'

08-18

### 回答1：这错误提示通常是因为你的 Python 环境中没有安装 `datasets` 模块导致的。你可以使用 pip 工具来安装它，命令如下： ``` pip install datasets ``` 如果你使用的是 Anaconda 环境，也可以使用 conda 命令来安装： ``` conda install -c huggingface datasets ``` 安装完成后，你就可以在 Python 中使用 `datasets` 模块了。 ### 回答2：根据错误信息"ModuleNotFoundError: No module named 'datasets'"，此错误是由于当前环境中没有找到名为'datasets'的模块导致的。要解决此问题，可以按照以下步骤操作： 1. 首先，确保已经安装了相关的模块。在Python中，我们可以使用pip命令来安装模块。打开终端（Windows用户可以打开命令提示符或者PowerShell），运行以下命令安装datasets模块： ``` pip install datasets ``` 2. 如果已经安装了datasets模块，那么可能是因为当前项目或Python解释器无法找到它。请检查以下几个方面： - 确保你的项目中包含了一个名为"datasets.py"的文件，因为Python会优先导入与当前文件同名的模块。 - 确保你的项目或Python解释器没有被设置为从其他目录或环境中导入模块，可能会导致找不到datasets模块。 - 如果你在使用虚拟环境，请确保已经在正确的虚拟环境中安装了datasets模块。如果按照上述步骤操作后仍然无法解决问题，那么有可能是datasets模块在你所使用的环境和版本中不可用。你可以尝试使用其他方式来获取数据集，例如使用其他Python库或直接从网上下载数据集并进行处理。总结起来，解决此错误的关键是安装datasets模块并确保项目或Python解释器可以找到它。如果问题仍然存在，那么可能是因为所使用的环境和版本与datasets模块不兼容，可以尝试其他方法获取所需的数据集。 ### 回答3：根据给出的错误提示信息 "from datasets import load_dataset ModuleNotFoundError: No module named 'datasets'"，通常是因为找不到名为 'datasets' 的模块导致的错误。要解决这个问题，我们可以考虑以下几个步骤： 1. 确认所需的模块是否正确安装。 'datasets' 模块可能是一个第三方模块，需要单独安装。可以通过在命令行中运行以下命令来安装： ```shell pip install datasets ``` 这将使用 pip 包管理器来安装所需的模块。确保使用包管理器安装了模块后，重新运行程序，看看是否仍然出现错误。 2. 确认模块名称是否正确。有时候，模块的正式名称与导入时使用的名称不完全匹配。在确认正确安装了模块的情况下，请确保使用的导入语句与模块的实际名称一致。如果模块名字是 'datasets'，则确保导入语句中的模块名也是 'datasets'。 3. 确认模块是否在当前目录或Python路径下可用。有时候，模块可能已经存在于当前正在工作的目录中，但由于未添加到Python路径中，导致找不到该模块。确保将模块放在正确的位置或添加到Python路径中。希望以上解决方法对您有所帮助！如果仍然遇到问题，请提供更多详细的信息，以便我们能够更好地帮助您解决问题。