![](https://img-blog.csdnimg.cn/b8427ae797e149baaeb4d75f8bbbe0ae.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
huggingface
文章平均质量分 97
huggingface官网文档,以及huggingface博客文章等
神洛华
这个作者很懒,什么都没留下…
展开
-
Accelerate 0.24.0文档 四:Megatron-LM
张量并行(TP):降低内存占用,减少节点内的通信量。每个张量被分割成多个部分,每个部分位于不同的GPU上。在每个步骤中,相同的小批量数据由每个部分独立并行处理,然后在所有GPU间进行同步(all-reduce操作)。在简单的Transformer层中,这导致前向路径有2次all-reduce操作,后向路径也有2次。详情请参阅研究论文和🤗博客文章中的部分。管道并行(PP):通过管道并行降低内存占用并实现大规模训练。原创 2023-11-17 01:59:53 · 976 阅读 · 0 评论 -
Accelerate 0.24.0文档 三:超大模型推理(内存估算、Sharded checkpoints、bitsandbytes量化、分布式推理)
简称 mmap tensors,是PyTorch提供的一种特殊的tensors,它允许将数据存储在磁盘文件中,而不占用宝贵的RAM内存,CPU可以直接对磁盘文件中的数据进行读写操作,就像操作RAM中的tensors一样。同样的,也可以方便创建模型,而无需加载权重。您可以使用 max_memory 参数来限制每个 GPU 和CPU上使用的内存,赋予GPU应该传递标识符(例如 0,1),内存值可以是整数(以字节为单位),也可以是表示数字及其单位的字符串,例如 “10GiB” 或 “10GB”。原创 2023-11-16 15:26:58 · 2894 阅读 · 1 评论 -
Accelerate 0.24.0文档 二:DeepSpeed集成
ZeRONVMe《Hugging Face高效训练技术二:大模型分布式训练策略——ZeRO、FSDP》《Hugging Face高效训练技术三:huggingface DeepSpeed文档》ZeRO(Zero Redundancy Optimizer)是一种用于优化大规模深度学习模型训练的技术。它的主要目标是降低训练期间的内存占用、通信开销和计算负载,从而使用户能够训练更大的模型并更高效地利用硬件资源。ZERO:模型状态,包括包括优化器参数(例如Adam的动量和方差)、梯度、模型参数。原创 2023-11-14 15:46:53 · 2286 阅读 · 0 评论 -
Hugging Face高效训练技术四:多GPU分布式训练(DP、PP、TP 、ZeRO)
介绍了主要的分布式训练策略:数据并行、模型并行、管道并行、张量并行和Zero原创 2023-11-02 23:41:07 · 5172 阅读 · 1 评论 -
Hugging Face高效训练技术二:大模型分布式训练策略——ZeRO、FSDP
介绍了两种大模型分布式训练策略:ZeRO和FSDP。原创 2023-09-23 11:28:02 · 3316 阅读 · 1 评论 -
Accelerate 0.24.0文档 一:三万字极速入门
本文介绍了Accelerate的优越性和基本用法,以及一些进阶功能原创 2023-11-12 19:26:12 · 1947 阅读 · 0 评论 -
Hugging Face高性能技术五:Transformer高效推断(bitsandbytes、FlashAttention、 BetterTransformer)
主要介绍了bitsandbytes、FlashAttention、 BetterTransformer等推理优化技术,另外稍微介绍了一下CPU推理优化TorchScript、 IPEX graph optimization、Optimum。原创 2023-11-09 06:15:56 · 1961 阅读 · 0 评论 -
Hugging Face高效训练技术一:单 GPU 高效训练(Gradient Accumulation、Gradient Checkpointing、混合精度训练、优化其选择)
介绍了单GPU训练的优化技巧原创 2023-11-06 01:16:45 · 1875 阅读 · 0 评论 -
Hugging Face高效训练技术三:huggingface DeepSpeed文档
根据HF官方文档,介绍了使用trainer进行deepspeed训练、推理的方法。原创 2023-09-27 17:47:55 · 5013 阅读 · 1 评论 -
hugging face 官方文档——datasets、optimizer
文章目录一、Load dataset1.1 Hugging Face Hub1.2 本地和远程文件1.2.1 CSV1.2.2 JSON1.2.3 text1.2.4 Parquet1.2.5 内存数据(python字典和DataFrame)1.2.6 Offline离线(见原文)1.3 切片拆分(Slice splits)1.4 Troubleshooting故障排除1.4.1手动下载1.4.2 Specify features指定功能1.5 加载自定义或本地metric1.5.2 Load config原创 2021-10-08 17:46:10 · 15291 阅读 · 2 评论 -
transformers官方文档翻译——GET STARTED
文章目录TransformersContentsGET STARTED快速浏览使用管道执行任务Under the hood: 预训练模型tokenizer预处理使用模型模型的保存和PyTorch 、TensorFlow 相互加载两种模型加载方式(Accessing the code)自定义模型安装缓存模型离线模式下载模型和tokenizer,离线使用您想在移动设备上运行 Transformer 模型吗?Philosophy主要概念词汇表General terms:模型输入:Input IDsTransfo翻译 2021-09-18 00:31:59 · 5107 阅读 · 1 评论 -
基于Hugging Face -Transformers的预训练模型微调
Hugging Face transformers课程文章目录Hugging Face transformers课程1. IntroductionTransformers的历史Architectures和checkpointsThe Inference API用pipeline处理NLP问题2. Behind the pipelinetokenizer预处理选择模型Model headsPostprocessing the output后处理3. 构建Trainer API微调预训练模型从Hub上下载d原创 2021-09-10 21:13:43 · 6451 阅读 · 4 评论 -
Hugging Face主页课程第一篇《Transformer models》
文章目录Chapters 1 Transformer models1. IntroductionWhat to expect?Who are we?2. NLP为什么它具有挑战性?Transformers, what can they do?transformer无处不在!Working with pipelinesZero-shot classification零样本分类Text generation文本生成The Inference APIMask fillingNamed entity recogni翻译 2021-09-06 03:25:46 · 2276 阅读 · 0 评论 -
Hugging Face主页课程第三篇《Fine-tuning a pretrained model》
微调预训练模型文章目录微调预训练模型本章简介处理数据从Hub上下载dataset数据集预处理Dynamic padding动态填充技术本文翻译自 Hugging Face主页Resources下的 course说明:有的文章将token、Tokenizer、Tokenization翻译为令牌、令牌器和令牌化。虽然从意义上来说更加准确,但是笔者感觉还是不够简单直接,不够形象。所以文中有些地方会翻译成分词、分词器和分词,有些地方又保留英文(有可能google翻译成标记、标记化没注意到)。有其它疑问可以留言翻译 2021-09-07 01:40:30 · 1831 阅读 · 1 评论 -
Hugging Face主页课程第二篇《 Using Transformers》
Using ???? Transformers文章目录Using ???? Transformers1. Introduction2. Behind the pipelinetokenizer预处理Going through the model高维向量Model heads: Making sense out of numbers本章简介在第 1 章中,我们使用pipeline API 将 Transformer 模型用于不同的任务。 尽管此 API 功能强大且方便,但了解其内部工作原理很重要,这样我翻译 2021-09-06 04:47:39 · 963 阅读 · 0 评论