LLM-LLaMA：使用Huggingface提供的脚本文件，对原始的LLaMA-13B转换为Huggingface的格式

最新推荐文章于 2024-07-21 16:19:34 发布
最新推荐文章于 2024-07-21 16:19:34 发布
阅读量920 收藏 1
点赞数
分类专栏： LLM 文章标签： llama
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/131385716
版权
本文介绍了如何利用Huggingface提供的脚本`convert_llama_weights_to_hf.py`将原始的LLaMA-13B模型转换为Huggingface兼容的格式。脚本可以在GitHub的`zjunlp/KnowLM`项目中找到，运行命令简单易行。
摘要由CSDN通过智能技术生成

使用Huggingface提供的脚本文件，对原始的LLaMA-13B转换为Huggingface的格式，具体的脚本文件在此处。下面是运行的命令（假设下载的原始文件位于./下，希望转换后的路径为./converted）：

python convert_llama_weights_to_hf.py --input_dir ./ --model_size 13B --output_dir ./converted

  convert_llama_weights_to_hf.py

# Copyright 2022 EleutherAI and The HuggingFace Inc. team. All rights reserved.
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy
了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
LLM-LLaMA：手动模型转换与合并【Step 1: 将原版LLaMA模型转换为HF(HuggingFace)格式；Step 2: 合并LoRA权重，生成全量模型权重】
u013250861的博客
06-25 2936
与原版llama模型离线转换为HF格式后的SHA256一致（已验证7B/13B/33B）。合并Chinese-Alpaca-Plus需要提供两个LoRA权重，分别为Chinese-LLaMA-Plus-LoRA和Chinese-Alpaca-Plus-LoRA。这一步骤会对原版LLaMA模型（HF格式）扩充中文词表，合并LoRA权重并生成全量模型权重。执行以下脚本（注意这个脚本路径指的是transformers的路径，不是本项目的目录）后，注意，不同模型的合并方式不同。指定的目录，其余文件放在。
llama2 转换权重
prinTao的博客
10-31 788
【代码】llama2 转换权重。
Hugging Face中下载大模型——LLaMa2-7b为例
最新发布
ly_twt的博客
07-21 710
（4）点开Meta Llama 2：中的Meta Llama 2 repository。这个URL就是下图中mask掉的URL，把URL复制粘贴到终端中，1、首先，需要有Hugging Face账户，没有的话注册一个。（3）申请后，会得到如下界面，邮箱也会收到邮件。（5）下载这个llama repository。（1）搜索所需的LLaMa2-7b模型。2、申请下载LLaMa2的权限。除了以下红框内的，其他随便填。
Llama的使用
weixin_34149796的博客
04-08 1576
1. 介绍 Llama (Low Latency Application MAster) 是一个 Yarn 的 Application Master，用于协调 Impala 和 Yarn 之间的集群资源的管理和监控。Llama 使 Impala 能够获取、使用和释放资源配额，而不需要 Impala 使用 Yarn 管理的 container 进程。Lla...
【AI】在本地 Docker 环境中搭建使用 Hugging Face 托管的 Llama 模型
欧阳天涵的专栏
03-28 2253
在本地使用Docker部署LLM GGML模型是一种方便有效的使用自然语言处理的方式。将模型docker化使其易于在不同环境之间移动，并确保其能够一致运行。在浏览器中测试模型提供了用户友好的界面，让您可以快速评估其性能。 这样的设置使您对基础架构和数据有更多控制，并更容易部署先进的语言模型，适用于各种应用。这是在部署大型语言模型方面迈出的一大步。
Hugging Face全攻略：轻松下载Llama 3模型，探索NLP的无限可能！【实操】
xiaoh_7的博客
04-27 7552
Hugging Face平台提供了海量的预训练模型，包括顶尖的Llama 3模型。本文将详细介绍如何从Hugging Face下载Llama 3模型到本地。
使用Llama.cpp在CPU上快速的运行LLM
deephub
07-10 2174
在这篇文章中，我们介绍了如何在Python中使用llama.cpp库和llama-cpp-python包。这些工具支持基于cpu的llm高性能执行。Llama.cpp几乎每天都在更新。推理的速度越来越快，社区定期增加对新模型的支持。在Llama.cpp有一个“convert.py”可以帮你将自己的Pytorch模型转换为ggml格式。llama.cpp库和llama-cpp-python包为在cpu上高效运行llm提供了健壮的解决方案。
LLM-LLaMA中文衍生模型：Chinese-LLaMA-Alpaca【扩充词表、Lora部分参数预训练、微调】
u013250861的博客
06-25 1006
前面提到LoRA模型无法单独使用，必须与原版LLaMA进行合并才能转为完整模型，以便进行模型推理、量化或者进一步训练。有些地方称为30B，实际上是Facebook在发布模型时写错了，论文里仍然写的是33B。中文LLaMA模型在原版的基础上扩充了中文词表，使用了中文通用纯文本数据进行二次预训练。经过重构后的模型大小比同等量级的原版LLaMA大一些（主要因为扩充了词表）。下载后务必检查压缩包中模型文件的SHA256是否一致，请查看。具体内容请参考本项目 >>>具体内容请参考本项目 >>>
中文版LLaMA：Chinese-LLaMA-Alpaca
u013250861的博客
06-12 1767
以ChatGPT、GPT-4等为代表的大语言模型（Large Language Model, LLM）掀起了新一轮自然语言处理领域的研究浪潮，展现出了类通用人工智能（AGI）的能力，受到业界广泛关注。然而，由于大语言模型的训练和部署都极为昂贵，为构建透明且开放的学术研究造成了一定的阻碍。为了促进大模型在中文NLP社区的开放研究，本项目开源了。这些模型并使用了中文数据进行二次预训练，进一步提升了中文基础语义理解能力。
LLM-项目详解-Chinese-LLaMA-AIpaca（二）：代码解读【①prompt指令制作、②合并分词器、③Lora模型与基础模型合并、③模型分片保存】
u013250861的博客
06-13 796
【代码】Chinese-LLaMA-AIpaca项目代码解读。
如何优雅地下载huggingface上模型，以llama2模型下载为例
热门推荐
ljp1919的专栏
07-25 1万+
由于llama2模型的下载需要经过官方的授权，这就需要登陆hugging face的，对模型页面进行申请。等待审核通过后，才能够下载。如果在单纯用 git lfs 的方式进行下载，需要输入账号和密码。为了更快速地进行下载，既能够设置密码、也能够设置代理，采用脚本的方式会更加合适，不会因为随便改动代理而引发其他问题。
impala llama_使用Llama根据您的位置自动更改Android手机的设置
09-17 580
impala llamaLlama is a clever Android app that can automatically perform actions based on your location. It uses cell towers — not GPS — so it won’t use much additional battery power. In fact, Llama c...
零成本高效部署：Llama 3本地使用全攻略
程序员鑫港的博客
05-09 5908
Meta公司的Llama 3大模型引领AI新篇章 各位朋友，我是袋鼠帝。近日，真正的“OpenAI”——Meta公司，对“Close AI”进行了有力回应，推出了其开源大模型系列的最新力作——更是青出于蓝，不仅在技术层面实现了对的重大突破，还在各种评估测试中展现出令人瞩目的表现。这标志着AI技术又迈出了坚实的一步。目前，推出了两个版本，分别是8B和70B。在与同等级别的Gemma和Mistral开源模型较量中，8B版本展现出了显著的优势。
如何用hugging face hub一键下载模型并将模型转换为gguf格式（支持自定义量化）
2301_78453609的博客
03-24 6548
量化就是减少模型所占内存的大小，量化位数越少，模型占有内存越小，但相对可能模型表现会更差，所以建议在模型过大的时候可以适当采用。进入本地【E:\llamaapp\llama.cpp】文件夹（llama.cpp文件夹），在当前环境下将【llama】我尝试了采用convert.py文件失败，所以采用convert-hf-to-gguf.py，成功。下载完成的话，缓存【modelcache】里面选中的文件就可以删除了（所有文件都可以删除）好的，能看到这里的小伙伴都是大牛了，我也是花了好长时间才跑成功的。
手把手教你：LLama2原始权重转HF模型
HJ_blog
11-09 1890
LLama2是meta最新开源的语言大模型，训练数据集2万亿token，上下文长度由llama的2048扩展到4096，可以理解和生成更长的文本，包括7B、13B和70B三个模型，在各种基准集的测试上表现突出，该模型可用于研究和商业用途。LLama2模型权重和tokenizer下载需要申请访问。申请链接：https://ai.meta.com/resources/models-and-libraries/llama-downloads/
LLama 2部署教程+私有模型分发
backfire007的博客
07-22 7589
如何搭建LLama2，并将LLama2快速分发给团队成员使用
windows10搭建llama大模型
逍遥壮士
09-10 2684
背景随着人工时代的到来及日渐成熟，大模型已慢慢普及，可以为开发与生活提供一定的帮助及提升工作及生产效率。所以在新的时代对于开发者来说需要主动拥抱变化，主动成长。 LLAMA介绍llama全称：Large Language Model Meta AI是由meta（原facebook）开源的一个聊天对话大模型。根据参数规模，Meta提供了70亿、130亿、330亿和650...
LLaMA模型文件 (搬运工)
weixin_43301333的博客
04-21 5372
如果要使用huggingface transformer训练LLaMA，需要使用额外的转换脚本（具体详见huggingface官网。建议提前确认自己的huggingface版本。或者使用上述已经被转换好的。但是申请的审批时间一般都很长。才能获得官方模型权重。
llama-factory llm - lora 模型合并与保存
11-18
llama-factory是一个用于深度学习模型开发和训练的开源库，它提供了各种工具和功能来简化模型开发的流程。在llama-factory中，llm和lora是两种常用的模型类型，它们分别代表了不同的深度学习模型架构。 要合并llm和lora模型，首先需要确保它们具有相同的输入和输出形状。然后可以使用llama-factory提供的模型合并工具来将它们合并成一个新的模型。在合并的过程中，需要考虑到每个模型的权重和参数，确保它们能够正确地融合在一起。 一旦模型合并完成，就可以使用llama-factory提供的模型保存功能将新模型保存到硬盘上。保存模型时，可以选择不同的格式和配置来满足不同的需求，比如选择不同的压缩算法或者保存为不同的文件类型。保存模型的同时，还可以保存模型的元数据和其他相关信息，以便在以后能够方便地加载和使用模型。 总的来说，llama-factory提供了一整套完善的工具和功能来处理深度学习模型的合并和保存。通过合并和保存模型，开发者可以更方便地管理和使用复杂的深度学习模型，从而加快模型开发和部署的速度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值