Llama3-8B+ LLaMA-Factory 中文微调

最新推荐文章于 2024-05-20 20:00:00 发布
最新推荐文章于 2024-05-20 20:00:00 发布
阅读量2k 收藏 15
点赞数 20
分类专栏： 大模型 文章标签： llama
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84052244/article/details/138123439
版权

Llama3-8B+ LLaMA-Factory 中文微调

Llama3是目前开源大模型中最优秀的模型之一，但是原生的Llama3模型训练的中文语料占比非常低，因此在中文的表现方便略微欠佳！

本教程就以Llama3-8B-Instruct开源模型为模型基座，通过开源程序LLaMA-Factory来进行中文的微调，提高Llama3的中文能力！LLaMA-Factory是一个开源的模型训练工具

Llama3-8B-Instruct模型下载地址：

魔搭社区（境内）：https://modelscope.cn/models/LLM-Research/Meta-Llama-3-8B-Instruct/files

huggingface（境外）：https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct/tree/main

LLaMA-Factory项目地址：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
猫猫姐
关注
  • 20
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
订阅专栏
Llama2-7B/13B chat模型（下载地址）.txt
08-14
•Llama2-7B官网版本 •Llama2-7B-Chat官网版本 •Llama2-13B官网版本 •Llama2-13B-Chat官网版本 •Llama2-7B Huggingface版本 •Llama2-7B-Chat Huggingface版本
大模型实战—Llama3-8B 中文微调
热门推荐
04-25 1万+
Llama3是目前开源大模型中最优秀的模型之一，但是原生的Llama3模型训练的中文语料占比非常低，因此在中文的表现方便略微欠佳！本教程就以Llama3-8B-Instruct开源模型为模型基座，通过开源程序LLaMA-Factory来进行中文的微调，提高Llama3的中文能力！
Meta Llama 3强势来袭：迄今最强开源大模型，性能媲美GPT-4
nulifancuoAI的博客
04-19 2879
Meta的最新语言模型Llama 3已经发布，标志着在大型语言模型（LLM）领域的一次重大突破，其性能在行业内与GPT-4相媲美。此次更新不仅提升了模型的处理能力和精确性，还将开源模型的性能推向了一个新的高度。Huggingface模型下载：AI快站模型免费加速下载：meta-llamaLlama 3 的主要亮点包括：基于超过 15T token 训练，相当于 Llama 2 数据集的 7 倍还多；
Llama-Factory + Ollama 打造属于自己的中文版 Llama3
hyang1974的博客
05-05 1937
Meta Llama3发布已经有一小段时间了。和以往的原始 Llama 模型一样，Llama 3 对中文的支持效果欠佳。本文则探讨如何使用 Llama-Factory 对 Llama3 进行中文微调的具体过程，并通过 Ollama 本地部署中文微调的 Llama3 模型，打造属于自己的个性化的 Llama3 LLM 。
教程：利用LLaMA_Factory微调llama3:8b大模型
m0_60683691的博客
05-06 656
在存放模型空白处右键，点击git bash here，下载llama3模型至本地由于文件较大，因此该过程比较久，保持下载窗口打开，知道出现下一命令行表示下载完成。
使用 LLaMA Factory 微调 Llama-3 中文对话模型
张伟的专栏
04-22 856
请申请一个免费 T4 GPU 来运行该脚本。
llama3-中文微调训练集，让llama3更懂中文
04-22
Llama-3是由Meta（Facebook）AI发布的最新一代大型语言模型。它具有两种参数规模：80亿（8B）和700亿（70B），并且还有一个超过4000亿参数的版本正在训练中。Llama-3在多个行业标准测试中展现了卓越的性能，特别是在...
Llama2-Chinese.tar
08-08
Llama2-Chinese.tar
nlp作业，基于LLaMA-Factory（python）
01-11
使用爬虫爬取知乎的数据作为数据集，对模型进行指令微调 尝试优化模型推理效率，使用模型量化技术优化推理速度 Model: ChineseLLaMA2-1.3B-Chat Device: Multi-GPU 数据集 数据集放置在项目data目录下的 json ...
Llama3模型+Windows本地运行软件（下载地址）
05-20
下面是Llama3和谷歌Gemma以及法国的Mistral开源版的对比，以及Llama3 70B和gemini和Claude3闭源版的对比。 关于Llama3具体有多牛X，这样的内容我就不写了。网上新闻一大堆！ 我就说说怎么在我们自己的电脑上玩起来...
Llama 3 超级课堂 -笔记
qq_46576562的博客
05-14 772
课程文档： https://github.com/SmartFlowAI/Llama3-Tutorial课程视频：https://space.bilibili.com/3546636263360696/channel/series1.1 创建虚拟环境,名为：llama3 1.2 下载、安装 pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 1.3 通过软连接获取 Meta-Llama-3-8B-Inst
Llama-Code Shield解读：大模型代码安全护盾解析
Tencent_SRC的博客
05-16 647
引言大模型目前被广泛用于生成代码数据，能有效地提高研发效率。但LLM生成的代码中潜藏的安全漏洞，也成了悬在头顶的达摩克利斯之剑。最近，Llama-3的问世，不仅带来了新的代码生成能力，更配备了Code Shield这一安全检测利器，为LLM生成的代码筑起了一道坚固的防线。腾讯朱雀实验室基于Llama-3开源的Code Shield项目，进行了相关的技术分析和实验测试。总体而言，Code Shiel...
技术前沿 |【大模型LLaMA：技术原理、优势特点及应用前景探讨】
尺小闹的博客
05-16 1045
大模型LLaMA是一种基于深度学习技术的自然语言处理模型，其名称来源于西班牙语中的“LLaMA”（意为“羊驼”），寓意着其强大的处理能力和广泛的应用范围。该模型采用了先进的Transformer架构，通过大量的训练数据和计算资源，实现了对自然语言的深入理解和高效处理。1.大规模参数：LLaMA模型拥有数以亿计的参数，使其能够处理更加复杂的语言现象和任务。2.多任务学习：通过同时训练多个任务，LLaMA模型能够实现知识的共享和迁移，提高模型的泛化能力。3.上下文感知。
LLAMA-Factory微调chatglm3-6b出现KeyError: ‘instruction‘错误
wxr0616的博客
05-15 195
其中，instruction这些叫什么不重要，重要的是要在LLAMA-Factory的data文件夹下的dataset_info.json中注册这个数据集，同时要描述映射关系（这里是关键，llama-factory实际使用的是prompt，query这些键，你要描述instruction对应的是promot（即提示），还是query（问题）还是response（回答））之前我也遇到过这样的错误就是在LLAMA-Factory微调chatglm3-6b时报错KeyError: ‘instruction‘。
Llama 3 模型家族构建安全可信赖企业级AI应用之 Code Llama （一）
段智华的博客
05-17 857
1、Llama开源模型家族大模型技术、工具和多模态详解：学员将深入了解Meta Llama 3的创新之处，比如其在语言模型技术上的突破，并学习到如何在Llama 3中构建trust and safety AI。8、Llama 3中的DPO原理、算法、组件及具体实现及算法进阶：学习Llama 3中结合使用PPO和DPO算法，剖析DPO的原理和工作机制，详细解析DPO中的关键算法组件，并通过综合项目八从零开始动手实现和测试DPO算法，同时课程将解密DPO进阶技术Iterative DPO及IPO算法。
基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （十）
段智华的博客
05-14 76
Mialon 等人对增强语言模型的调查。 （2023）广泛涵盖了多种类别的语言模型，并增强了推理技能和使用外部工具的能力。
Llama 3 模型家族构建安全可信赖企业级AI应用之使用 Llama Guard 保护大模型对话 （八）
最新发布
段智华的博客
05-20 548
基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （一）基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （二）基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （三）基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （四）基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （五）基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （六）基于 L
LLaMa系列模型详解（原理介绍、代码解读）：LLaMa
qq_51957239的博客
05-17 935
下图很直观的展示了旋转变换的过程：旋转编码 RoPE 可以有效地保持位置信息的相对关系，
llama2-70b微调配置
09-09
根据引用中的信息，llama2-70b微调的配置如下： - 使用的设备编号为1,2,3,4,6,7,8,9 - 使用的torchrun命令行参数为--nproc_per_node 8 --master_port=29501 - 使用的脚本为example_chat_completion.py - 使用的模型路径为llama-2-70b-chat/ - 使用的分词器路径为tokenizer.model - 设置的最大序列长度为512 - 设置的最大批量大小为4 另外，根据引用的信息，llama2-70b还有其他版本可用，包括官网版本和Huggingface版本。 关于引用中的报错信息，由于没有提供具体的报错内容，我无法给出详细的解决方案。建议检查报错信息，确认错误原因，并参考相关文档或寻求技术支持以解决问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值