Transformers
文章平均质量分 97
LDG_AGI
AIGC元年,再出发。
展开
-
【AI大模型】Transformers大模型库(十六):safetensors存储类型
本篇内容展示了如何使用safetensors库,主要功能旨在安全地存储和加载机器学习模型的权重,特别是针对PyTorch模型。它通过加密和验证模型数据来增强安全性,防止数据篡改。原创 2024-06-26 16:41:26 · 1450 阅读 · 20 评论 -
【AI大模型】Transformers大模型库(十五):timm库
Hugging Face的timm库是一个用于计算机视觉的模型库,它提供了大量预训练的图像识别模型,以高效、易用为特点。原创 2024-06-26 15:25:48 · 586 阅读 · 6 评论 -
【AI大模型】Transformers大模型库(十四):Datasets Viewer
Datasets Viewer是一个轻量级的 Web API,用于可视化和探索存储在 Hugging Face Hub上的所有类型的数据集(计算机视觉、语音、文本和表格)。原创 2024-06-26 13:07:40 · 692 阅读 · 3 评论 -
【AI大模型】Transformers大模型库(十三):Datasets库
Transformers库通常与Hugging Face的datasets库一起使用来处理和准备数据。以下是如何使用datasets库加载数据集和进行基本预处理的步骤,以用于Transformers的模型训练和评估原创 2024-06-26 01:37:55 · 192 阅读 · 0 评论 -
【AI大模型】Transformers大模型库(十二):Evaluate模型评估
Transformers库中的evaluate API主要用于评估模型在特定数据集上的性能。虽然Transformers库本身没有直接提供一个名为evaluate的独立API函数,但通常通过Trainer类的evaluate方法来实现模型评估。原创 2024-06-26 01:20:51 · 355 阅读 · 1 评论 -
【AI大模型】Transformers大模型库(十一):Trainer训练类
在Hugging Face的Transformers库中,Trainer类是一个强大的工具,用于训练和评估机器学习模型。它简化了数据加载、模型训练、评估和日志记录的过程。原创 2024-06-20 23:59:17 · 676 阅读 · 4 评论 -
【AI大模型】Transformers大模型库(十):repetition_penalty惩罚系数
本文先对大语言模型生成参数repetition_penalty进行讲解,希望可以帮助到您。原创 2024-06-17 17:19:57 · 859 阅读 · 2 评论 -
【机器学习】QLoRA:基于PEFT亲手量化微调Qwen2大模型
本文首先对量化和微调的原理进行剖析,接着以Qwen2-7B为例,基于QLoRA、PEFT一步一步带着大家微调自己的大模型,本文参考全网peft+qlora微调教程,一步一排坑,让大家在网络环境不允许的情况下,也能丝滑的开启大模型微调之旅。原创 2024-06-13 19:59:15 · 4155 阅读 · 289 评论 -
【AI大模型】Transformers大模型库(八):大模型微调之LoraConfig
LoraConfig是Hugging Face transformers库中用于配置LoRA(Low-Rank Adaptation)的类。LoRA是一种用于微调大型语言模型的轻量级方法,它通过添加低秩矩阵到预训练模型的权重上来实现适应性调整,从而在不显著增加模型大小的情况下提升特定任务的性能。这种方法特别适合于资源有限的环境,因为它减少了存储和计算的需求原创 2024-06-12 00:03:54 · 1190 阅读 · 4 评论 -
【AI大模型】Transformers大模型库(七):单机多卡推理之device_map
本文简要介绍了device_map="auto"等使用方法,多数情况下与CUDA_VISIBLE_DEVICES=1,2,3一起使用,可以简单高效的进行多卡分布式推理及训练计算,至于多机多卡场景,多用torchrun和deepspeed等,后面文章会专门进行系统讲解。原创 2024-06-11 20:26:03 · 2182 阅读 · 5 评论 -
【AI大模型】Transformers大模型库(六):torch.cuda.OutOfMemoryError: CUDA out of memory解决
采用GPU进行大模型训练及推理,在初期遇到最多的错误就是CUDA out of memory,主要意味着你的模型在训练或运行过程中尝试分配的GPU内存超出了可用部分,简称“爆显存”原创 2024-06-11 01:09:38 · 750 阅读 · 1 评论 -
【AI大模型】Transformers大模型库(三):特殊标记(special tokens)
本文对使用transformers的特殊标记(special tokens)进行说明,特殊标记主要用于分割句子,在模型训练中引入“断句”、“开头”、“结尾”相关的信息。原创 2024-06-05 21:13:49 · 705 阅读 · 3 评论 -
【AI大模型】Transformers大模型库(二):AutoModelForCausalLM
本文对使用transformers的AutoModelForCausalLM进行尝试,主要对CausalLM(因果推理模型)进行实例化,需要与同类的AutoTokenizer分词器一起使用。同时,列举了管道模型、自动模型、具体模型等三种transformers预训练大模型实例化方法。期待大家三连。原创 2024-06-05 20:30:52 · 1272 阅读 · 0 评论 -
【AI大模型】Transformers大模型库(一):Tokenizer
Tokenizer在自然语言处理(NLP)中是一个关键组件,它负责将文本字符串转换成模型可以处理的结构化数据形式,通常是将文本切分成“tokens”或单词、短语、子词等单位。这些tokens是模型理解文本的基础。Tokenizer的类型和复杂性可以根据任务需求而变化,从简单的基于空格的分割到更复杂的基于规则或机器学习的分词方法。本文对使用transformers的BertTokenizer进行尝试,主要功能是将字、词转换为可以运算的数字ID编码,供后面的model层使用。原创 2024-06-05 20:05:58 · 985 阅读 · 2 评论