llama factory 训练 TensorBoard 可视化

已于 2024-08-21 20:07:51 修改
阅读量1.8k 收藏 4
点赞数 5
分类专栏： # 深度学习 文章标签： 深度学习
于 2024-08-07 15:29:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42363032/article/details/140992106
版权

首先需要在 yaml 里设置两个参数：

output_dir: /home/wangguisen/projects/LLaMA-Factory/weights/tensbox_demo

report_to: tensorboard
logging_dir: /home/wangguisen/projects/LLaMA-Factory/weights/tensbox_demo/runs

然后开始训练，在你的输出目录下会有 runs 文件夹。

安装 TensorBoard：

proxychains4 pip install tensorboard

然后在服务上使用默认的6006端口正常启动TensorBoard：

tensorboard --logdir=/home/wangguisen/projects/LLaMA-Factory/weights/tensbox_demo/runs --port=6006 --host=localhost

或者本地终端：

ssh -L 16006:localhost:6006 your_username@server_ip

16006 是你本地机器上的端口号，可以是任意未占用的端口。
6006 是服务器上的 TensorBoard 端口号。

然后浏览器打开链接: http://localhost:16006，即可通过 SSH 隧道访问 TensorBoard。

ref:

https://github.com/hiyouga/LLaMA-Factory/issues/816

https://huggingface.co/docs/transformers/main_classes/trainer#transformers.TrainingArguments.logging_dir

https://datawhalechina.github.io/thorough-pytorch/%E7%AC%AC%E4%B8%83%E7%AB%A0/7.3%20%E4%BD%BF%E7%94%A8TensorBoard%E5%8F%AF%E8%A7%86%E5%8C%96%E8%AE%AD%E7%BB%83%E8%BF%87%E7%A8%8B.html#id8

教程：利用LLaMA_Factory微调llama3:8b大模型
m0_60683691的博客
05-06 4441
在存放模型空白处右键，点击git bash here，下载llama3模型至本地由于文件较大，因此该过程比较久，保持下载窗口打开，知道出现下一命令行表示下载完成。
llama factory lora 微调 qwen2.5 7B Instruct模型
weixin_41046245的博客
11-14 3743
项目背景 甲方提供一台三卡4080显卡 需要进行qwen2.5 7b Instruct模型进行微调。以下为整体设计。要使用对进行，流程与之前提到的模型类似。LoRA 微调是一种高效的微调方法，通过低秩适配器层来调整预训练模型的权重，而不是全量训练整个模型。
LLama Factory大模型微调之TensorBoard配置
qq_43588095的博客
03-27 588
【代码】LLama Factory大模型微调之TensorBoard配置。
LLaMA-Factory
AI工程化、开源分享、文档翻译、代码笔记
07-17 2418
一、关于 LLaMA-Factory 项目特色 性能指标 二、如何使用 1、安装 LLaMA Factory 2、数据准备 3、快速开始 4、LLaMA Board 可视化微调 5、构建 Docker CUDA 用户： 昇腾 NPU 用户： 不使用 Docker Compose 构建 CUDA 用户： 昇腾 NPU 用户： 数据卷详情 6、利用 vLLM 部署 OpenAI API 7、从魔搭社区下载 8、使用 W&B 面板 三、支持 1、模型 2、训练方法 3、数据集 预训练数据集 指令微调数据集 偏好
LLama Factory 实操记录（一）
梦想是要有的，万一实现了呢！
12-20 8115
1. api端口参数说明： src/api。
LLaMA-Factory：大语言模型微调框架（大模型）
2301_81940605的博客
07-18 4939
LLaMA-Factory 是一个国内北航开源的低代码大模型训练框架，专为大型语言模型（LLMs）的微调而设计
用 LLama-Factory 训练和微调 LLama3，打造你的专属 AI 模型！
数智笔记
05-19 2439
微调模型涉及调整预训练或基础模型的参数，使其能够用于特定任务或数据集，从而提升其性能和准确性。这个过程包括为模型提供新的数据，并修改其权重、偏差和某些参数以最小化损失和成本。通过这样做，这个新模型可以在任何新任务或数据集上表现良好，而无需从头开始，从而节省时间和资源。通常，当一个新的大型语言模型（LLM）创建时，它会在一个大型文本数据语料库上进行训练，其中可能包含潜在有害或不良内容。在预训练或初始训练阶段之后，模型会被微调加入安全措施，确保其避免生成有害或不良的响应。然而，这种方法并非完美无缺。
LLaMA-Factory 强化学习 可视化
03-27
好的，我需要帮助用户寻找关于LLaMA-Factory在强化学习中的可视化工具或实现方法的信息。首先，我需要回顾一下用户提供的引用资料，看看是否有相关的信息。 引用[1]提到LLaMA Board提供了一个可视化界面，方便用户...
llama-factory/peft微调千问1.5-7b-chat
qq_43814415的博客
05-02 3838
本文实现了llama-factory和自己基于peft进行qwen1.5-7b-chat的sft微调，评测。llama-factory兼容了很多加速方法，非常方便；自己写虽然慢，但是对底层的数据组织，处理认识更深。值得一提的是，LLM本质上还是一个分类预测任务，因此也采用CrossEntropyLoss，指数化后就是困惑度参考：1.2.3.4.5.6.7.8.9.
llama-factory学习使用笔记
xiaomu_347的博客
06-17 1298
想要对开源的llama大模型，针对自己的数据进行微调，这里推荐llama-factory项目，LLama Factory，这个工具能够高效且低成本地支持对 100 多个模型进行微调。LLama Factory 简化了模型微调的过程，并且易于访问，使用体验友好。当模型和数据都已经配置完成，接下来就是开始训练了，这里我采用的是基于llama2-7b的模型，加上自己的中文数据利用lora方法进行sft，其他的参数设定如下。这样刷新后在加载数据时就可以看到自己添加的数据了，还可以对内容进行可视化。
llama-factory训练中断可以继续训练吗
最新发布
04-02
使用 TensorBoard 或其他可视化工具可以帮助实时跟踪训练进度，并及时发现潜在问题以便采取措施防止训练再次中断[^2]。 #### 3. **依赖项与环境配置** 确保环境中安装了最新版本的支持库，特别是 Transformers 和 ...
LlamaFactory：解锁LLM微调效率的终极神器！
Code1994的博客
12-25 1269
LLaMA Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。通过 LLaMA Factory，可以在无需编写任何代码的前提下，在本地完成上百种预训练模型的微调，框架特性包括：模型种类：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi 等等。
llama-factory学习个人记录
qq_55736201的博客
05-22 4066
1.llama-factory部署在LLaMA-Factory项目中，单显卡可以用命令或训练，多显卡只能用用命令的方式。
突破模型训练瓶颈：LLaMA-Factory 使用指南
qq_20597679的博客
10-25 1927
探索深度学习的未来，LLaMA-Factory 是您的理想伴侣！这个强大的模型训练和微调平台支持多种前沿语言模型，如 LLaMA、LLaVA 和 ChatGLM，让您轻松构建和优化您的AI应用。凭借灵活的训练方法、先进的优化算法和快速推理能力，LLaMA-Factory 能够满足开发者的多样化需求。 安装简单，只需克隆源码、创建 Conda 环境，并配置依赖项即可。在使用过程中，您可以通过直观的 LLaMA Board GUI 进行高效微调，调整学习率和批次大小等参数，确保最佳训练效果。
代码生成商业化一些思考
liangwqi的博客
09-08 548
对代码生成的几种商业化可能做了总结梳理，描述了不同模式下适用的场景和可能存在的问题。目前代码生成主要产品形态还是to c产品，相当于是对程序员开发中查询开发手册、社区问答、代码修改、代码示例能力整合到了一个大模型中。然后对于商业价值更大的to b代码生成，准确可控可执行的代码模块、项目代码生成产品在市面还未见。to b代码生成难度往往不在于代码复杂度，而在于能够准确无误的生成实际可用的代码，真实的减少业务开发人员的工作量。这其实是一次软件工程自动化的过程，就是对软件开发做自动化；软工程和自动化本身就是对生产
LLaMA-Factory：手把手教你从零微调大模型！
热门推荐
php源码
07-24 1万+
在深度学习领域，模型微调通常指的是在预训练模型的基础上进行的进一步训练。预训练模型是在大量数据上训练得到的，它已经学习到了语言的基本规律和丰富的特征表示。然而，这些模型可能并不直接适用于特定的任务或领域，因为它们可能缺乏对特定领域知识的理解和适应性。模型微调通过在特定任务的数据集上继续训练预训练模型来进行，使得模型能够学习到与任务相关的特定特征和知识。这个过程通常涉及到模型权重的微幅调整，而不是从头开始训练一个全新的模型。
Llama-Factory的baichuan2微调
man_Xue_hao的博客
11-18 8742
现有的获得这种可控性的方法是收集人工对模型生成相对质量的标签，并且通过人类反馈强化学习（RLHF）对无监督的 LM 进行微调，以使其与人类偏好相一致。然而，RLHF 是一个复杂且经常不太稳定的过程，它首先拟合一个反应人类偏好的奖励模型，然后通过强化学习对大型无监督 LM 进行微调以最大化评估奖励，并避免与原始模型相差太远。值得注意的是，用 DPO 进行微调在控制生成结果的情感以及改善摘要和单轮对话的响应质量方面表现出更好的能力，同时在实现和训练时的难度大大降低。，从本质上解决了人类偏好数据上的分类问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

WGS.

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值