decapoda-research/llama-7b-hf 的踩坑记录

最新推荐文章于 2024-07-23 09:30:18 发布
最新推荐文章于 2024-07-23 09:30:18 发布
阅读量1.8k 收藏 6
点赞数 3
文章标签： llama
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35166730/article/details/133998343
版权

使用transformers加载decapoda-research/llama-7b-hf的踩坑记录。

  1. ValueError: Tokenizer class LLaMATokenizer does not exist or is not currently imported.
    解决办法：
    https://github.com/huggingface/transformers/issues/22222
    将tokenizer_config.json中LLaMATokenizer改为LlamaTokenizer。

  2. RecursionError: maximum recursion depth exceeded while getting the str of an object.
    解决办法：
    https://github.com/huggingface/transformers/issues/22762
    使用tokenizer_config.json替换原本的tokenizer_config.json

夏离
关注
克氏原螯虾种群生长模型及生态参数的研究 (2003年)
04-24
克氏原螯虾（Cambarus clarkii），又称小龙虾，是一种淡水螯虾，属于甲壳纲(Crustacea)、十足目(Decapoda)、螯虾科(Cambaridae)。原产于南美洲，在20世纪初引入日本，并于30年代末期由中国引进。因其耐受性和繁殖...
HuggingFace过去七天最流行的AI模型一览——预训练大模型绝对王者
weixin_48827824的博客
04-20 2802
HuggingFace是目前最火热的AI社区，很多人称之为AI模型的GitHub。包括Google、微软等很多知名企业都在上面发布模型。
alpaca-lora微调
dzysunshine的博客
05-25 688
预训练模型：decapoda-research/llama-7b-hf 会自动下载。共计33个405M的bin文件，大约占用约14G内存。如果报错，不能创建链接，降低下gradio版本即可，如：pip install gradio==3.13。设置generate.py文件，将share=True，便于公网访问。微调过程预计需要60个小时，占用显存约9个G。该数据基于斯坦福alpca数据进行了清洗。由于微调时间较长，这里直接后台运行。效果如下，显存占用约8个G。1、将项目下载到本地。
大模型入门: 基于peft 微调 LLaMa模型
最新发布
2401_86154451的博客
07-23 570
在这里使用的是hugging face的accelerate库中的deepspeed方法，zero-3会将模型、梯度、优化器参数都分割到不同的GPU，并且使用cpu offload将一些中间变量放到cpu上，经实测使用两张GPU时，每张GPU的使用大概5个G多一点，单张卡的batch size可以设置到8，但是在实际训练过程中速度比DDP还要慢一点，这里的原因还是因为模型并行、CPU offload等带来了大量的通信工作，所以单张gpu能存放一整个模型时还是首推DDP。同时混合精度训练也会有所加速。
大模型入门（四）—— 基于peft 微调 LLaMa模型
chaishen10000的专栏
06-15 6304
库中的deepspeed方法，zero-3会将模型、梯度、优化器参数都分割到不同的GPU，并且使用cpu offload将一些中间变量放到cpu上，经实测使用两张GPU时，每张GPU的使用大概5个G多一点，单张卡的batch size可以设置到8，但是在实际训练过程中速度比DDP还要慢一点，这里的原因还是因为模型并行、CPU offload等带来了大量的通信工作，所以单张gpu能存放一整个模型时还是首推DDP。单GPU训练很好理解，训练的时候只要注意下面的一段代码即可，混合精度训练+梯度累积。
MiniGPT4系列之一部署篇：在RTX-3090 Ubuntu服务器部署步骤详解
qq_18256855的博客
07-12 2087
本文主要介绍minigpt4在ubuntu服务器 RTX-3090部署的全过程
深度学习笔记--本地部署Mini-GPT4
牵一只蜗牛去散步
05-03 7132
升级 bitsandbytes 库，这里博主选用 0.38.1 版本的 bitsandbytes 解决了问题；--delta-path 表示第 3 步中下载的 vicuna-7b-delta-v1.1 权重的存放地址；--bash-model-path 表示第 3 步中下载的 llama-7b-hf 权重的存放地址；--target-model-path 表示生成 Vicuna 权重的存放地址；4--生成 Vicuna 权重。6--可能出现的问题。
大语言模型-中文chatGLM-LLAMA微调
yuetan的博客
04-19 3480
中文instruct在chatGLM, LLAMA上的表现。
大模型也内卷，Vicuna训练及推理指南，效果碾压斯坦福羊驼
吃果冻不吐果冻皮
05-12 1754
为了提供演示服务，Vicuna研究人员建立了一个轻量级的分布式服务系统，创建了八个问题类别（如：角色扮演、编码/数学任务等）的 80 个不同问题，利用 GPT-4 来判断模型输出，借此对模型质量做初步评估。Vicuna具体的工作流程如下图所示，首先，研究人员从 ShareGPT.com（一个供用户分享 ChatGPT 对话内容的网站）收集了约 7 万个对话，并增强了 Alpaca 提供的训练脚本，以更好地处理多轮对话和长序列。追加到上面的命令中，这会将大权重文件拆分为较小的文件，并将磁盘用作临时存储。
使用LoRA对大语言模型LLaMA做Fine-tune
蒋含竹的博客
05-29 9299
目前有大量对LLM（大语言模型）做Fine-tune的方式，不过需要消耗的资源非常高，例如Stanford Alpaca: 对LLaMA-7B做Fine-tune，需要4颗A100 (80GB) GPUFastChat/Vicuna: 对LLaMA-7B做Fine-tune，需要4颗A100 (40GB) GPU这种资源需求令普通的学习者望而却步，使用LoRA则可以较好的解决这个问题LoRA全称为。
足够惊艳，使用Alpaca-Lora基于LLaMA(7B)二十分钟完成微调，效果比肩斯坦福羊驼
吃果冻不吐果冻皮
04-10 6338
从上面可以看到，在一台8卡的A800服务器上面，基于Alpaca-Lora针对指令数据大概20分钟左右即可完成参数高效微调，相对于斯坦福羊驼训练速度显著提升。参考文档LLaMA：斯坦福-羊驼。
【peft】huggingface大模型加载多个LoRA并随时切换
QixuanAIRobot的专栏
05-14 1万+
peft加载多个lora模型并随时切换的方法
linux Ubuntu Python 3.10 环境报错与解决方案集合
Jay_fearless的博客
05-11 3178
使用Alpaca-Lora基于LLaMA(7B)二十分钟完成微调 环境配置
学习实践-Alpaca-Lora (羊驼-Lora)（部署+运行+微调-训练自己的数据集）
LZL2020LZL的博客
04-14 1万+
三月中旬，斯坦福发布的 Alpaca （指令跟随语言模型）火了。其被认为是 ChatGPT 轻量级的开源版本，其训练数据集来源于text-davinci-003，并由 Meta 的 LLaMA 7B 微调得来的全新模型，性能约等于 GPT-3.5。斯坦福研究者对 GPT-3.5（text-davinci-003）和 Alpaca 7B 进行了比较，发现这两个模型的性能非常相似。Alpaca 在与 GPT-3.5 的比较中，获胜次数为 90 对 89。
tokenizer出现RecursionError: maximum recursion depth exceeded while getting the str of an object的解决方案
热门推荐
weixin_43178406的博客
12-26 4万+
本文主要介绍了tokenizer出现RecursionError: maximum recursion depth exceeded while getting the str of an object的解决方案，希望能对同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
足够惊艳，使用Alpaca-Lora基于LLaMA(7B)二十分钟完成微调，效果比肩斯坦福羊驼...
zenRRan的博客
05-17 1804
来自：吃果冻不吐果冻皮进NLP群—>加入NLP交流群之前尝试了从0到1复现斯坦福羊驼（Stanford Alpaca 7B），Stanford Alpaca 是在 LLaMA 整个模型上微调，即对预训练模型中的所有参数都进行微调（full fine-tuning）。但该方法对于硬件成本要求仍然偏高且训练低效。因此， Alpaca-Lora 则是利用 Lora 技术，在冻结原模型 LLaMA ...
bert模型训练，加载保存的模型Can‘t load tokenizer for ‘/content/drive/MyDrive/Colab Notebooks/classification_mode
weixin_38864554的博客
07-20 7936
bert模型加载，报错“Can't load tokenizer for '/content/drive/MyDrive/Colab Notebooks/classification_mode”
git lfs clone https://huggingface.co/decapoda-research/llama-7b-hf
07-24
您可以使用以下命令将 LFS（Large File Storage）仓库克隆到本地： ``` git lfs clone https://huggingface.co/decapoda-research/llama-7b-hf ``` 这将从指定的 URL 克隆 LFS 仓库到您的本地机器上。请确保您已经安装了 Git LFS 扩展，并且具有相应的权限来访问该仓库。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值