【AI大模型】Transformers大模型库（十四）：Datasets Viewer

已于 2024-06-26 16:42:15 修改
阅读量980 收藏 16
点赞数 11
分类专栏： Transformers 文章标签： 人工智能 计算机视觉 机器学习 深度学习 图像处理 python transformer
于 2024-06-26 13:07:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48007632/article/details/139985680
版权

目录

一、引言 

二、Datasets Viewer数据查看器

2.1 概述

2.2 示例

三、总结

一、引言 

 这里的Transformers指的是huggingface开发的大模型库，为huggingface上数以万计的预训练大模型提供预测、训练等服务。

🤗 Transformers 提供了数以千计的预训练模型，支持 100 多种语言的文本分类、信息抽取、问答、摘要、翻译、文本生成。它的宗旨是让最先进的 NLP 技术人人易用。
🤗 Transformers 提供了便于快速下载和使用的API，让你可以把预训练模型用在给定文本、在你的数据集上微调然后通过 model hub 与社区共享。同时，每个定义的 Python 模块均完全独立，方便修改和快速研究实验。
🤗 Transformers 支持三个最热门的深度学习库： Jax, PyTorch 以及 TensorFlow — 并与之无缝整合。你可以直接使用一个框架训练你的模型然后用另一个加载和推理。

本文重点介绍Hugging Face的Datasets Viewer用法

二、Datasets Viewer数据查看器

2.1 概述

 Datasets Viewer是一个轻量级的 Web API，用于可视化和探索存储在 Hugging Face Hub上的所有类型的数据集（计算机视觉、语音、文本和表格）。 

数据集查看器的主要功能是将所有Hub 数据集自动转换为Parquet。

随着数据集的大小和数据类型的丰富性不断增加，预处理（存储和计算）这些数据集的成本可能非常高且耗时。为了帮助用户访问这些现代数据集，数据集查看器在后台运行服务器以提前生成 API 响应并将其存储在数据库中，以便当您通过 API 进行查询时立即返回它们。

让数据集查看器处理繁重的工作，这样您就可以在 Hugging Face 上的 100,000 多个数据集中的任何一个上使用简单的REST API来：

  • 列出数据集拆分、列名称和数据类型
  • 获取数据集大小（以行数或字节数计算）
  • 下载并查看数据集中任意索引处的行
  • 在数据集中搜索单词
  • 根据查询字符串过滤行
  • 获取有关数据的深刻统计数据
  • 以parquet 文件形式访问数据集，以便在您喜欢的处理或分析框架中使用 

2.2 示例

比如，这是ShareGPT4Video/ShareGPT4Video数据集的Dataset Viewer

三、总结

以上步骤展示了如何使用Datasets Viewer来查看数据，Datasets是hugging face主要我存储资源之一，通过Datasets Viewer可以快速查看。

如果您还有时间，可以看看我的其他文章：

《AI—工程篇》

AI智能体研发之路-工程篇（一）：Docker助力AI智能体开发提效

AI智能体研发之路-工程篇（二）：Dify智能体开发平台一键部署

AI智能体研发之路-工程篇（三）：大模型推理服务框架Ollama一键部署

AI智能体研发之路-工程篇（四）：大模型推理服务框架Xinference一键部署

AI智能体研发之路-工程篇（五）：大模型推理服务框架LocalAI一键部署

《AI—模型篇》

AI智能体研发之路-模型篇（一）：大模型训练框架LLaMA-Factory在国内网络环境下的安装、部署及使用

AI智能体研发之路-模型篇（二）：DeepSeek-V2-Chat 训练与推理实战

AI智能体研发之路-模型篇（三）：中文大模型开、闭源之争

AI智能体研发之路-模型篇（四）：一文入门pytorch开发

AI智能体研发之路-模型篇（五）：pytorch vs tensorflow框架DNN网络结构源码级对比

AI智能体研发之路-模型篇（六）：【机器学习】基于tensorflow实现你的第一个DNN网络

AI智能体研发之路-模型篇（七）：【机器学习】基于YOLOv10实现你的第一个视觉AI大模型

AI智能体研发之路-模型篇（八）：【机器学习】Qwen1.5-14B-Chat大模型训练与推理实战

AI智能体研发之路-模型篇（九）：【机器学习】GLM4-9B-Chat大模型/GLM-4V-9B多模态大模型概述、原理及推理实战

《AI—Transformers应用》

【AI大模型】Transformers大模型库（一）：Tokenizer

【AI大模型】Transformers大模型库（二）：AutoModelForCausalLM

【AI大模型】Transformers大模型库（三）：特殊标记（special tokens）

【AI大模型】Transformers大模型库（四）：AutoTokenizer

【AI大模型】Transformers大模型库（五）：AutoModel、Model Head及查看模型结构

【ChatGPT模型精调训练】AI 大模型精调 Fine-Tuning （微调）训练图文代码实战详解
AI天才研究院
03-09 1946
选择预训练模型：选择一个在类似任务上已经训练好的模型作为起点。数据准备：准备并预处理你的数据集，使其适合模型的输入格式。微调：在你的特定数据集上继续训练模型，调整模型的权重。评估：评估微调后模型的性能。应用：将微调后的模型部署到实际应用中。Fine-Tuning（精调）是指在预训练模型的基础上，对模型进行微调，使其适应特定任务。预训练模型通常在大量无标签数据上进行训练，以学习通用的语言表示。通过 Fine-Tuning，我们可以在较小的标签数据集上训练模型，以便模型能够更好地解决特定任务。
Hugging Face系列1：详细剖析Hugging Face网站资源——models/datasets/spaces
shao918516的博客
05-15 3381
本篇主要介绍Hugging Face。它的核心产品是Hugging Face Hub，这是一个基于Git进行版本管理的存储库，已托管大量模型、数据集及Spaces应用。另外，Hugging Face还开源了一系列的机器学习库和界面演示工具Gradio。Hugging Face设计开发了很多学习资源，比如与NLP、扩散模型及深度强化学习等。本篇还介绍了大量Spaces应用，如IDM-VTON、IC-Light、LLM Leaderboard及stable-diffusion-xl-base/refiner等。
推荐开源项目：Dataset Viewer - 数据集可视化与API集成利器
gitblog_00058的博客
06-13 549
推荐开源项目：Dataset Viewer - 数据集可视化与API集成利器 dataset-viewerLightweight web API for visualizing and exploring any dataset - computer vision, speech, text, and tabular - stored on the Hugging Face Hub项目地址:ht...
开源项目 `dataset-viewer` 使用教程
gitblog_00058的博客
08-22 731
开源项目 dataset-viewer 使用教程 dataset-viewerLightweight web API for visualizing and exploring any dataset - computer vision, speech, text, and tabular - stored on the Hugging Face Hub项目地址:https://gitcode....
waymo-open-dataset-viewer使用详解
发布工作学习过程中遇到的问题和解决方案
06-03 1347
waymo-open-dataset-viewer是一个开源的waymo open dataset的可视化工具，本文基于我fork的这一版本进行详解，并直接在原README文件中进行修改。
DataSet与DataView的区别
小P孩学.NET
03-14 2224
public ICollection CreateDataSource () {OleDbConnection conn = new OleDbConnection(strCnn);OleDbDataAdapter da = new OleDbDataAdapter(sql,conn);DataSet ds = new DataSet();da.Fill(ds,"mfData");DataView
AI大模型时代，新手和程序员如何转型入局AI行业？
老皮的博客
07-19 575
在人工智能（AI）的浪潮中，大模型技术正以前所未有的速度发展，并在各个领域展现出其强大的应用潜力。
大模型算法面试 - 基础篇
强化学习曾小健
01-14 1990
基础知识1.transformer 八股文a.Self-Attention的表达式b.为什么上面那个公式要对QK进行scalingscaling后进行softmax操作可以使得输入的数据的分布变得更好，你可以想象下softmax的公式，数值会进入敏感区间，防止梯度消失，让模型能够更容易训练。c.self-attention一定要这样表达吗？不一定，只要可以建模相关性就可以。当然，最好是能够高速计算（矩阵乘法），并且表达能力强（query可以主动去关注到其他的key并在value上进行强化，并且忽略不相关的其
HuggingfaceNLP笔记7.2Fine-tuning a masked language model
HITzwx的博客
05-06 818
对于许多涉及Transformer模型的NLP应用程序，您可以简单地从Hugging Face Hub获取一个预训练模型，并直接在您的数据上对其进行微调以适应当前任务。只要用于预训练的语料库与用于微调的语料库不相差太大，迁移学习通常会产生良好的结果。然而，有一些情况下，您可能希望首先在您的数据上对语言模型进行微调，然后再训练一个特定任务的头部。例如，如果您的数据集包含法律合同或科学文章，那么像BERT这样的普通Transformer模型通常会将您语料库中的领域特定词汇视为罕见标记，导致性能可能不尽如人意。
AI RAG 系列之 使用 Langchain、Chromadb、Zephyr-7B-Beta 和 OpenAI 实现一种矫正 RAG，什么是Corrective RAG？
iCloudEnd的博客
07-09 109
纠正性 RAG 是一个综合框架，它结合了检索评估、纠正措施、网络搜索和生成模型集成，通过确保利用准确和相关的知识来提高文本生成模型的准确性、可靠性和稳健性。简单来说，校正 RAG 是根据文档与数据源的相关性对文档进行分级的方法。如果数据源与问题相关，则流程继续生成。否则，框架会寻找其他数据源并利用网络搜索来补充检索。但在这个例子中，我们不会寻找其他数据源，而是直接丢弃不相关的数据源。
探索数据新纪元：Hugging Face Dataset Viewer详解与推荐
gitblog_00059的博客
08-24 997
探索数据新纪元：Hugging Face Dataset Viewer详解与推荐 dataset-viewerLightweight web API for visualizing and exploring any dataset - computer vision, speech, text, and tabular - stored on the Hugging Face Hub项目地址:...
Hugging Face 数据集查看器教程
gitblog_00670的博客
08-22 725
Hugging Face 数据集查看器教程 dataset-viewerLightweight web API for visualizing and exploring any dataset - computer vision, speech, text, and tabular - stored on the Hugging Face Hub项目地址:https://gitcode.com...
机器翻译的未来：从统计方法到Transformers
AI天才研究院
12-31 1216
1.背景介绍 机器翻译是自然语言处理领域的一个重要分支，其目标是使计算机能够自动地将一种自然语言文本转换为另一种自然语言文本。随着大数据时代的到来，机器翻译技术的发展得到了巨大的推动。在过去的几十年里，机器翻译技术经历了从基于规则的方法到基于统计的方法再到深度学习的迁移到现在的Transformers等各种技术的不断发展。本文将从统计方法到Transformers的机器翻译技术讨论其核心概念、算...
transformers 库
weixin_56915683的博客
10-30 2693
Main concepts 该库中的每个 model 对应 3 个类型的 class： Model class：预训练模型（该库中大概有 30+ 个）。比如，BertModel Configuration class：用于存储建立 model 的所有参数。比如，BertConfig 不需要每次都实例化 Configuration class； 当使用一个没有修改的 model 时，创建模型时会“自动”实例化 Configuration class Tokenizer class：存储 model
大模型实操与API调用 | 四十一、使用Hugging Face Transformers库部署模型
Androiddddd的博客
08-12 1604
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频，免费分享！
Transformers 库的基本使用
热门推荐
步入人工智能
06-19 4万+
本内容主要介绍 Transformers 库 的基本使用。
联想推出擎天AI适配中心，智能体部署开启“交钥匙”新模式
最新发布
weixin_43735236的博客
05-16 286
根据中研普华产业研究院的《2025-2030年中国AI大模型行业竞争格局分析与未来趋势预测报告》分析，2025年中国AI大模型市场规模预计将突破495亿元，大模型技术正在全行业快速演进，其中智能体成为企业AI落地的重要形式，特别是在政务、金融、医疗等对数据可控性要求极高的行业，本地化部署几乎已成共识。面对快速演进的市场环境，ISV常常陷入部署难、适配难、交付慢等难题——擎天AI适配中心的推出，正是为了解决这些关键痛点，帮助开发者在智能体的部署过程中，跳过复杂的搭建过程，专注于业务模型开发与客户交付。
ApiHug 咋变成国外AI工具了呢？
程序员超级伴侣-ApiHug
05-16 662
摘要：ApiHug是一个专注于API设计和开发的平台，提供高度描述性、模块化和可视化的体验。它集成了API资产的分发、监控和管理功能，支持全语言在IDEA中的智能自动补全、linting和语法高亮等。ApiHug通过标准化的API设计元语言，旨在提高API开发效率和团队协作。其主要功能包括API设计、代码生成、模块共享、版本控制和统一IDE支持。目标受众为API开发者和团队，使用场景涵盖API设计、性能监控和智能提示。用户可通过官网注册、安装插件并开始使用ApiHug的各类功能。
[模型部署] 1. 模型导出
ayiya_Oese的博客
05-16 781
本文详细介绍了如何将深度学习模型导出为不同部署格式，包括ONNX、TorchScript等，并对比了各种格式的优缺点及适用场景。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值