Huggingface数据集制作方法实例

最新推荐文章于 2024-07-30 13:07:57 发布
最新推荐文章于 2024-07-30 13:07:57 发布
阅读量243 收藏
点赞数
分类专栏： 自然语言处理 文章标签： 算法 人工智能 深度学习 神经网络 bert
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52053775/article/details/139125068
版权
本文介绍了如何使用Huggingface加载和处理不同格式的数据集，包括Json和TSV文件。以药品评价数据为例，详细讲述了数据清洗步骤，如更改列名、处理缺失值、文本清洗、过滤短评论等。此外，还提到了模型训练前的准备，如Tokenization和数据集的预处理。提供了相关代码链接和资源下载。
摘要由CSDN通过智能技术生成

相关代码及数据见文末

1.概述

        load_dataset函数支持多种文件格式，例如csv,text,json,pandas。 

        

2.Json文件

直接加载

 任务里也可以通过字典来指定数据集

3.TSV文件

        这里选择的是药品评价数据集：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
樱花的浪漫
关注
专栏目录
订阅专栏
手把手写深度学习(15)：在Hugging Face上构建自己的语料库
沉迷单车的追风少年
06-22 584
tokenizer是NLP pipeline的核心组件之一。核心作用是：将文本转换为模型可以处理的数据。模型只能处理数字，因此tokenizer需要将我们的文本输入转换为数字数据。例如我们看到的一句话：但是，模型只能处理数字，所以我们需要找到一种将原始文本转换为数字的方法。这就是tokenizer所做的，有很多方法可以做到这一点。目标是找到最有意义的表示和最小的表示。利用tokenizer分词后得到了单词表(词汇表)vocabularies，每个单词都被分配一个ID，从0开始，一直到词汇表的大小。模型使用这
7.数据集处理库Hugging Face Datasets
YPeng_Gao的博客
06-12 319
只需一行代码便可以访问数十种不同领域（自然语言处理、计算机视觉、强化学习等）的评估方法。Evaluate 库 是一个用于轻松评估机器学习模型和数据集的 Python 库。构造 DatasetBuilder 类的主要配置 BuilderConfig。Datasets.load_dataset 实现原理简介。使用 datasets.map 方法全量应用预处理策略。实际构造数据集的类 DatasetBuilder。Datasets 帮助构建不同用途的数据集。使用 Datasets 下载开源数据集。
HuggingFace (transformers) 自定义图像数据集、使用 DeiT 模型、Trainer 进行训练回归任务
weixin_46034990的博客
01-16 3606
使用 Hugging Face 的 transformers 模块，自定义图像数据集，使用 transformers 的 DeiT 模型，Trainer 训练回归任务，并使用 transformers 内置的 Tensorboard 进行可视化。
Hugging Face数据集的简单使用
最新发布
IT菜鸟
07-30 1185
Hugging Face数据集的简单使用
HuggingFace 自定义数据集，使用 Trainer 训练，多个输入，定义多流网络
weixin_46034990的博客
12-29 1573
在HuggingFace (transformers) 自定义图像数据集、使用 DeiT 模型、Trainer 进行训练回归任务 文章中的 3.Dataset 部分曾提到过，如何自定义 Dataset。# 1) 自定义类继承 Dataset# 2）重写 __init__，__len__，__getitem__ 方法# 根据自己的数据集处理步骤进行编写pass# 读取数据集后处理！！重点 __getitem__ 方法的返回值# 标签# 人脸图像# 右眼图像# 左眼图像# 自定义模型。
如何构建一个自定义huggingface dataset数据集？
chadqiu的博客
02-03 4718
使用自己的数据构建huggingface dataset数据集
在NLP项目中使用Hugging Face的Datasets 库
勇气与行动
12-09 778
数据科学是关于数据的。网络上有各种来源可以为您的数据分析或机器学习项目获取数据。最受欢迎的来源之一是 Kaggle，我相信我们每个人都必须在我们的数据旅程中使用它。 最近，我遇到了一个新的来源来为我的 NLP 项目获取数据，我很想谈谈它。这是 Hugging Face 的数据集库，一个快速高效的库，可以轻松共享和加载数据集和评估指标。因此，如果您从事自然语言理解 (NLP) 工作并希望为下一个项目提供数据，那么 Hugging Face 就是您的最佳选择。 Hugging Face 是自然语言处理 ..
NLP实战-Huggingface神器
04-10
分享一套Huggingface视频教程——《NLP实战-Huggingface神器》，视频+源码+课件下载！通俗讲解NLP领域当下各大主流模型，全部基于transformer架构展开分析与应用。...第11章 补充Huggingface数据集制作方法实例
多模态大模型：技术原理与实战 多模态大模型评测数据集
程序员光剑
07-22 949
多模态大模型：技术原理与实战 多模态大模型评测数据集 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词： 多模态大模型，技术原理，实战案例，评测数据集，自然语言处理，计算机视觉，融合技术
wav2vec2踩坑之旅5：如何制作一个transformers的数据集
starinline的专栏
03-30 2731
wav2vec2踩坑之旅5：如何制作一个transformers的数据集 摘要 本文记录了制作transformers数据集的主要过程，以thch30中文ASR数据集为例，模仿librispeech的格式，可用于wav2vec2模型的finetune过程。本文主要解决2个核心问题： 如何在transformers中自定义数据集？ 如何使用本地数据集？ 本文按照官方数据集添加向导踩坑，愿对诸君有所帮助。 文章目录wav2vec2踩坑之旅5：如何制作一个transformers的数据集摘要1.制作SLR18
txtai 教程系列 2 ----使用 Hugging Face 数据集构建嵌入索
我的博客，不一样的自我表达
05-05 149
本文展示了 txtai 如何使用 Hugging Face 的数据集库进行索引和搜索。数据集开放了对大量且不断增长的公开可用数据集列表的访问。Datasets 具有选择、转换和过滤存储在每个数据集中的数据的功能。在此示例中，txtai 将用于索引和查询数据集。安装依赖安装txtai和所有依赖项。也安装datasets.加载数据集并构建 txtai 索引在此示例中，我们将加载ag_news数据集，它是新闻文章标题的集合。这只需要一行代码！
使用 Huggingface Trainer 对自定义数据集进行文本分类
iCloudEnd的博客
11-29 1597
文本分类是一项常见的 NLP 任务，它根据文本的内容定义文本的类型、流派或主题。Huggingface🤗 Transformers 提供 API 和工具来轻松下载和训练最先进的预训练模型。Huggingface Transformers 支持 PyTorch、TensorFlow 和 JAX 之间的框架互操作性。模型还可以导出为 ONNX 和 TorchScript 等格式，以便在生产环境中部署。
huggingface-transformers实体识别训练自己的数据
GeekPlusA的博客
07-21 1318
NER任务@[TOC](NER任务)1. 制作自己的数据集2. 数据集处理3. 训练数据4. 优化模型 1. 制作自己的数据集 文本标注工具-brat安装以及标注自己的数据 标注后会生成相应的.ann文件内容 2. 数据集处理 处理后的数据集如下图所示 字符+空格+标签，每个句子之间有一个单独的换行。文件以utf-8的编码结构保存。一个训练集，一个开发集，一个测试集。 处理数据脚本step1_brat2bio.py # -*- coding: utf-8 -*- """ brat标注工具标注
使用huggingface实现BERT+BILSTM情感3分类（附数据集源代码）
m0_53373869的博客
01-24 2191
最近在学习自然语言处理和大模型实战，通过实战来总结一下学习内容，顺便将学的一些东西发表在博客上，希望能对看到文章的您有帮助，有任何问题也可以发表讨论或联系作者。本次实战讲解围绕BERT+BILSTM模型开展情感3分类进行，介绍在huggingface框架下使得我们具有方便的模型训练方法。疫情期间网民情绪识别 竞赛 - DataFountain【NLP实战】基于Bert和双向LSTM的情感分类【上篇】_bert-lstm-CSDN博客。
大模型额外篇章一：用huggingface的电影评论数据集情感分类训练模型
谢白羽
05-22 449
工具：huggingface目的：情感分类输入：电影评论输出：标签 [‘neg’,‘pos’]或。
【torch】HuggingFace的datasets库中load_dataset方法使用
orangerfun的博客
07-26 2万+
一些情况下加载数据集的逻辑较为复杂，需要自定义加载方式。比如训练ControlNet时，输入有原始图片，边缘图，以及prompt，这时候我们就需要通过在图片所在的目录下写一个python脚本来处理数据加载方式。如下所示，我们数据处理需要是，每条数据包括两张图片，一个文本。step1: 首先我们先创建一个json文件，把图片和文本对应起来，json文件的格式如下所示step2：创建一个python脚本fill50k.py根据json文件中的对应关系加载图片，python脚本如下所示，这个脚本中定义一个。
Hugging Face快速入门（重点讲解模型(Transformers)和数据集部分(Datasets)）
热门推荐
iioSnail的博客
08-08 6万+
1. Hugging Face是什么，提供了哪些内容 2. Hugging Face模型的使用（Transformer类库） 3. Hugging Face数据集的使用（Datasets类库）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

樱花的浪漫

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值