LLM-LLaMA:手动模型转换与合并【Step 1: 将原版LLaMA模型转换为HF(HuggingFace)格式;Step 2: 合并LoRA权重,生成全量模型权重】

准备工作

  1. 运行前确保拉取仓库最新版代码:git pull
  2. 确保机器有足够的内存加载完整模型(例如7B模型需要13-15G)以进行合并模型操作。
  3. 务必确认基模型和下载的LoRA模型完整性,检查是否与SHA256.md所示的值一致,否则无法进行合并操作。原版LLaMA包含:tokenizer.modeltokenizer_checklist.chkconsolidated.*.pthparams.json
  4. 主要依赖库如下(python>=3.9),请安装指定版本,否则合并后无法比对SHA256校验值
pip install torch==1.13.1
pip install transformers==4.28.1
pip install sentencepiece==0.1.97
pip install peft==0.3.0

注意:经过多方比对,HuggingFace模型库中的elinas/llama-7b-hf-transformers-4.29与原版llama模型离线转换为HF格式后的SHA256一致(已验证7B/13B/33B)。如果你要使用,则应确保满足相应使用许可,我们不对其合规性做出任何保证(use at your own risk)。

  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 5
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值