wandb工具的使用技巧

最新推荐文章于 2024-07-01 16:15:14 发布

csuzhaoqinghui

最新推荐文章于 2024-07-01 16:15:14 发布

阅读量216

点赞数 2

文章标签： linux 运维服务器

本文链接：https://blog.csdn.net/csuzhaoqinghui/article/details/137681317

版权

# 准备wandb的路径
export WANDB_PROJECT=${WANDB_PROJECT:-your_project}
export WANDB_DIR=${SAVE_ROOT}
export WANDB_API_KEY=${WANDB_API_KEY:your_key}
wandb login
mkdir -p ${WANDB_DIR}

然后再你的训练命令行内添加

--report_to wandb

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

csuzhaoqinghui

关注关注

2
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

深度学习技巧应用40-深度学习可视化工具wandb的使用技巧与代码样例

weixin_42878111的博客

05-21

472

大家好，我是微学AI，今天给大家介绍一下深度学习技巧应用40-深度学习可视化工具wandb的使用技巧与代码样例。wandb（Weights & Biases）是一款专为机器学习和深度学习设计的可视化工具，旨在帮助开发者更高效地跟踪、可视化和共享实验结果。它提供了一个平台，可以轻松记录实验的超参数、输出指标以及模型的变化，并通过直观的仪表盘展示这些信息。

YOLOv5的Tricks | 【Trick11】在线模型训练可视化工具wandb(Weights & Biases)

Clichong

08-07

5850

如有错误，恳请指出。与其说是yolov5的训练技巧，这篇博客更多的记录如何使用wandb这个在线模型训练可视化工具，感受到了yolov5作者对其的充分喜爱。所以下面内容更多的记录下如何最简单的使用这个工具，而不是在介绍他在yolov5中的使用，后者具体可以见官方资料：Weights & Biases with YOLOv5Wandb是Weights & Biases的缩写，这款工具能够帮助跟踪你的机器学习项目。它能够自动记录模型训练过程中的超参数和输出指标，然后可视化和比较结果，并快速与同事共享结果。（感受

参与评论您还未登录，请先登录后发表或查看评论

深度学习之wandb的基本使用

最新发布

tortorish的博客

07-01

623

大模型训练及评估可视化工具wandb入门指南

【Python】科研代码学习：十四 wandb (可视化AI工具)

溢流眼泪的博客

03-15

2211

【wandb官网】wandb是的缩写（w and b）核心作用：可视化重要参数云端存储提供各种工具可以和其他工具配合使用，比如下面的等等可以在里面使用matplotlib貌似是的上位替代。

使用 Transformers 为多语种语音识别任务微调 Whisper 模型

2301_78834737的博客

07-10

1713

Whisper 是一系列用于自动语音识别 (automatic speech recognition，ASR) 的预训练模型，它由来自于 OpenAI 的 Alec Radford 等人于2022 年 9 月发布。与等前作不同，以往的模型都是在未标注的音频数据上预训练的，而 Whisper 是在大量的已标注音频转录数据上预训练的。其用于训练的标注音频时长高达 68 万小时，比 Wav2Vec 2.0 使用的未标注训练数据 (6 万小时) 还多一个数量级。

大型语言模型 (LoRA) 的低秩适应 Low Rank Adapdation

AI生成式技术曾小健

06-05

644

当您将 LoRA 权重与冻结的预训练模型权重合并时，您可以选择调整多少权重与参数合并。当您将 LoRA 权重与冻结的预训练模型权重合并时，您可以选择调整多少权重与参数合并。如果您想存储您的模型或与社区分享您的模型，请登录您的 Hugging Face 帐户（如果您还没有，请创建。的 LoRA 微调，能力有限。与不使用您的 LoRA 权重相同，您仅使用基本模型权重，而值。与不使用您的 LoRA 权重相同，您仅使用基本模型权重，而值。# 使用 LoRA 微调模型的一半权重和基础模型的一半权重。

Wandb：深度神经网络可视化工具介绍及本地部署方式

发呆的比目鱼的博客

10-10

1859

Wandb：深度神经网络可视化工具介绍及本地部署方式

EXCEL使用技巧PPT完整版资料.ppt

11-14

在Excel中，熟练掌握快捷键和函数的使用能极大地提升工作效率。以下是对这些知识点的详细解释： ### Excel快捷键的使用 1. **Ctrl + A**: 选择整个工作...无论是日常办公还是专业分析，这些技巧都将是你得力的工具。

Android开发：LogCat工具详解与使用技巧

LogCat是Android开发中不可或缺的调试工具，通过熟练掌握其使用，开发者能够更好地理解和优化自己的应用程序。在实际开发中，合理利用日志级别、过滤器和日志格式，可以显著提升问题定位的效率。

examples:使用wandb功能的示例深度学习项目

05-12

:rocket: 入门再也不会失去进度。保存您在5分钟内用于比较和复制模型的所有内容-体系结构，超参数，权重，模型预测，GPU使用率，git commit甚至数据集。 W＆B是免费的供个人使用和学术项目，并且很容易上手。或继续阅读代码片段及更多内容！如有任何疑问，请随时在我们的提问。 :handshake: 与任何框架轻松集成安装wandb库并登录： pip install wandb wandb login 灵活集成任何Python脚本： import wandb # 1. Start a W&B run wandb . init ( project = 'gpt3' ) # 2. Save model inputs and hyperparameters config = wandb . config config . learning_rate = 0.01 # Model training

weixin_44302770的博客

12-28

1310

ClearML 是一个开源平台（之前叫TRAINS），可为全球数千个数据科学团队自动化并简化机器学习解决方案的开发和管理。它被设计为端到端的MLOps套件，允许您专注于开发ML代码和自动化，而ClearML确保您的工作可重复和可扩展。仅用 2 行代码跟踪和上传指标和模型创建一个机器人，每当模型的准确性提高时，该机器人就会向你发送 Slack 消息通过 3 次鼠标点击重现实验简单来讲，比如你进行深度学习的训练，会涉及到输入的超参数管理、控制台输出保存用于复现、模型文件存档、环境信息等。

超参数优化专题之工具—wandb/wandb(2)

发呆的比目鱼的博客

08-28

3443

超参数优化专题之工具

FastChat 框架在 AutoDL 平台上全量微调和 PEFT 方式微调 LLMs

geeksoarsky的博客

09-21

2117

根据 FastChat 仓库[微调文档]，(https://github.com/lm-sys/FastChat/blob/main/docs/training.md)，我们可以使用使用 ZeRO2 使用 QLoRA 来训练。，可能要配置下 Base 模型，Batch_Size, Epoch 等超参数，可以开启 Zero 2 或者 Zero 3，脚本中使用了 Zero 2, 如果想使用 Zero 3 将 deepspeed 超参数改为。克隆我的微调仓库，本仓库基于 FastChat 框架，对。

解决wandb login输入key后报错permission denied

qq_44817420的博客

07-15

2413

这时需要参考https://blog.csdn.net/weixin_43835996/article/details/126955917的方法。这时需要借鉴https://blog.csdn.net/Kai_sunshine/article/details/128511521的方法。本人在服务器上用wandb，输完从官网复制的key后提示需要在没有权限的地方/temp/创建文件。改完再运行程序，到wandb官网上就可以看到训练进程啦。之后再运行程序，输完key后还会报错。其中name和config不变。

Bug fix: wandb login [errno 13] permission denied: ‘/.config‘

Kai_sunshine的博客

01-01

1431

wandb login [errno 13] permission denied: '/.config'

【炼丹神器】wandb实践之sweep超参扫描工具

Thomas_Cai的记忆殿堂

01-09

2423

训练之奇淫巧技sweep训练自动化搜索超参

【wandb】在同一服务器上多用户登录

a61022706的博客

07-01

448

可以在运行的sh脚本前，添加export WANDB_API_KEY=‘xxxx’ （自己的wandb key），比如。如果有别人在服务器上登录了wandb，很容易把日志存到他的wandb里。

科研工具：实验结果实时可视化，自动调参工具-wandb

qq_48342932的博客

02-27

1321

wandb是tensorboard plus版，它有几个优点：1.代码量少，几行代码就能把你想记录的各个实验数据全部变成图表形式2.只要代码在跑，不管你在哪。登录网站就能看到实时更新的实验结果3.自动调参。可以自己设定想调的参数范围，内置搜索方法可以帮你找到优秀的解。而且支持多进程，很多机器一起跑，效率拉满。