- 博客(46)
- 收藏
- 关注
RSS订阅原创 如何从Wandb迁移到SwanLab
SwanLab 是一个开源的模型训练记录工具，面向AI研究者，提供了训练可视化、自动日志记录、超参数记录、实验对比、多人协同等功能。在SwanLab上，研究者能基于直观的可视化图表发现训练问题，对比多个实验找到研究灵感，并通过在线链接的分享与基于组织的多人协同训练，打破团队沟通的壁垒。为什么要记录训练相较于软件开发，模型训练更像一个实验科学。一个品质优秀的模型背后，往往是成千上万次实验。研究者需要不断尝试、记录、对比，积累经验，才能找到最佳的模型结构、超参数与数据配比。
2024-10-27 16:28:42
253
原创 将Tensorboard日志转换为SwanLab项目
SwanLab 是一个开源的模型训练记录工具，面向AI研究者，提供了训练可视化、自动日志记录、超参数记录、实验对比、多人协同等功能。在SwanLab上，研究者能基于直观的可视化图表发现训练问题，对比多个实验找到研究灵感，并通过在线链接的分享与基于组织的多人协同训练，打破团队沟通的壁垒。为什么要记录训练相较于软件开发，模型训练更像一个实验科学。一个品质优秀的模型背后，往往是成千上万次实验。研究者需要不断尝试、记录、对比，积累经验，才能找到最佳的模型结构、超参数与数据配比。
2024-10-27 16:24:24
881
原创 SwanLab VSCode插件已发布，附使用教程
SwanLab 提供了友好的 API 和漂亮的界面，结合了超参数跟踪、指标记录、在线协作、实验链接分享等功能，让您可以快速跟踪 AI 实验、可视化过程、记录超参数，并分享给伙伴。SwanLab 是一款开源、轻量的 AI 实验跟踪工具，提供了一个跟踪、比较、和协作实验的平台。在VSCode中使用。
2024-10-19 15:00:22
205
原创 GLM4大模型微调入门实战-命名实体识别（NER）任务
基于GLM4-7B大模型，实现命名实体识别（NER）任务，是学习LLM微调非常好的入门任务之一，本文将提供完整的代码、模型、数据以及SwanLab实验过程，来帮助你学习如何进行微调。
2024-06-21 17:18:48
3066
7
原创 Qwen2大模型微调入门实战-命名实体识别（NER）任务（完整代码）
基于Qwen2-1.5B大模型，实现命名实体识别（NER）任务，是学习LLM微调非常好的入门任务之一，本文将提供完整的代码、模型、数据以及SwanLab实验过程，来帮助你学习如何进行微调。
2024-06-20 14:29:05
2718
1
原创 最实战的GLM4微调入门：从文本分类开始
大模型指令微调（Instruction Tuning）是一种针对大型预训练语言模型的微调技术，其核心目的是增强模型理解和执行特定指令的能力，使模型能够根据用户提供的自然语言指令准确、恰当地生成相应的输出或执行相关任务。指令微调特别关注于提升模型在遵循指令方面的一致性和准确性，从而拓宽模型在各种应用场景中的泛化能力和实用性。在实际应用中，我的理解是，指令微调更多把LLM看作一个更智能、更强大的传统NLP模型（比如Bert），来实现更高精度的文本预测任务。
2024-06-20 12:32:01
1791
1
原创 最实战的Qwen2微调入门：从文本分类开始
以Qwen2作为基座大模型，通过指令微调的方式实现高准确率的文本分类，是学习的入门任务。指令微调是一种通过在由（指令，输出）对组成的数据集上进一步训练LLMs的过程。其中，指令代表模型的人类指令，输出代表遵循指令的期望输出。这个过程有助于弥合LLMs的下一个词预测目标与用户让LLMs遵循人类指令的目标之间的差距。在这个任务中我们会使用模型在数据集上进行指令微调任务，同时使用SwanLab进行监控和可视化。
2024-06-20 12:24:21
3774
1
原创 Stable Diffusion文生图模型训练入门实战（完整代码）
（SD1.5）是由Stability AI在2022年8月22日开源的文生图模型，是SD最经典也是社区最活跃的模型之一。以SD1.5作为预训练模型，在火影忍者数据集上微调一个火影风格的文生图模型（非Lora方式），是学习的入门任务。显存要求 22GB左右在本文中，我们会使用模型在数据集上做训练，同时使用监控训练过程、评估模型效果。
2024-06-17 19:57:57
7460
19
原创 Stable-Baseline3 x SwanLab：可视化强化学习训练
Stable Baselines3 (SB3) 是一个强化学习的开源库，基于 PyTorch 框架构建。它是 Stable Baselines 项目的继任者，旨在提供一组可靠且经过良好测试的RL算法实现，便于研究和应用。StableBaseline3主要被应用于机器人控制、游戏AI、自动驾驶、金融交易等领域。你可以使用sb3快速进行模型训练，同时使用SwanLab进行实验跟踪与可视化。
2024-06-14 20:14:51
663
原创 Sentence Transformers x SwanLab：可视化Embedding训练
Sentence Transformers(又名SBERT)是访问、使用和训练文本和图像嵌入（Embedding）模型的Python库。你可以使用Sentence Transformers快速进行模型训练，同时使用SwanLab进行实验跟踪与可视化。
2024-06-14 20:13:29
303
原创 SwanLab系列教程：用swanlab.Text记录文本
本教程主要介绍如何用swanlab.Text记录文本，这在做NLP训练的时候特别好用。SwanLab是一个由国内团队开源的机器学习实验跟踪工具，相比于Tensorboard有更丰富的功能、更友好的UI界面，以及更重要的云端同步、多人协作功能。
2024-06-12 16:12:18
339
原创 SwanLab入门大模型：GLM4指令微调实战
大模型指令微调（Instruction Tuning）是一种针对大型预训练语言模型的微调技术，其核心目的是增强模型理解和执行特定指令的能力，使模型能够根据用户提供的自然语言指令准确、恰当地生成相应的输出或执行相关任务。指令微调特别关注于提升模型在遵循指令方面的一致性和准确性，从而拓宽模型在各种应用场景中的泛化能力和实用性。在实际应用中，我的理解是，指令微调更多把LLM看作一个更智能、更强大的传统NLP模型（比如Bert），来实现更高精度的文本预测任务。
2024-06-10 20:52:20
1267
原创 SwanLab入门深度学习：Qwen2大模型指令微调
是通义千问团队的开源大语言模型，由阿里云通义实验室研发。以Qwen2作为基座大模型，通过指令微调的方式实现高准确率的文本分类，是学习的入门任务。指令微调是一种通过在由（指令，输出）对组成的数据集上进一步训练LLMs的过程。其中，指令代表模型的人类指令，输出代表遵循指令的期望输出。这个过程有助于弥合LLMs的下一个词预测目标与用户让LLMs遵循人类指令的目标之间的差距。在这个任务中我们会使用模型在数据集上进行指令微调任务，同时使用SwanLab进行监控和可视化。本教程参考了。
2024-06-09 18:41:25
1137
原创 Qwen2大模型微调入门实战（完整代码）
是通义千问团队的开源大语言模型，由阿里云通义实验室研发。以Qwen2作为基座大模型，通过指令微调的方式实现高准确率的文本分类，是学习的入门任务。指令微调是一种通过在由（指令，输出）对组成的数据集上进一步训练LLMs的过程。其中，指令代表模型的人类指令，输出代表遵循指令的期望输出。这个过程有助于弥合LLMs的下一个词预测目标与用户让LLMs遵循人类指令的目标之间的差距。在这个任务中我们会使用模型在数据集上进行指令微调任务，同时使用SwanLab进行监控和可视化。本教程参考了。
2024-06-09 18:23:18
16467
7
原创 PyTorch LSTM谷歌股价预测（完整代码与训练过程）
基于LSTM模型的股票预测任务，是领域的经典任务之一。这篇文章我将带大家使用这四个开源工具，完成从Google股票数据集的准备、代码编写、可视化训练与预测的全过程。
2024-06-06 23:38:30
5489
10
原创 基于Bert模型的美团外卖评论文本情感分类（附完整代码与训练过程）
基于Bert模型的美团外卖评论数据集的文本情感分类，是自然语言处理领域的经典案例之一。这篇文章我将带大家使用 SwanLab、Transformers、datasets 三个开源工具，完成从数据集准备、代码编写、可视化训练的全过程。观察了一下，中文互联网上似乎很少有能直接跑起来的Bert训练代码和教程，所以也希望这篇文章可以帮到大家。
2024-06-03 23:10:11
1832
原创 PyTorch MNIST手写体识别：SwanLab可视化训练
MNIST手写体识别任务是一个经典的计算机视觉问题，属于图像分类任务，目标是输入一个手写数字图像，AI模型可以正确预测数字是多少。MNIST数据集包含70,000个手写数字图像，每个图像大小为28x28像素。这些图像分为两部分：60,000个训练集和10,000个测试集。# 1. 循环调用train_dataloader，每次取出1个batch_size的图像和标签# 2. 传入到resnet18模型中得到预测结果# 3. 将结果和标签传入损失函数中计算交叉熵损失# 4. 根据损失计算反向传播。
2024-06-01 18:35:00
851
原创 Ultralytics x SwanLab：可视化YOLO模型训练
Ultralytics是YOLO官方团队推出的CV训练与推理框架，不仅支持目标检测任务，还支持分割、姿态识别、分类等更多任务。是一个深度学习实验管理与训练可视化工具，由西安电子科技大学团队打造，融合了Weights & Biases与Tensorboard的特点，能够方便地进行 训练可视化、多实验对比、超参数记录、大型实验管理和团队协作，并支持用网页链接的方式分享你的实验。你可以使用Ultralytics快速进行目标检测模型训练，同时使用SwanLab进行实验跟踪与可视化。可视化结果(可以在直接预览。
2024-06-01 17:51:45
758
2
原创 SwanLab入门深度学习:YOLOv8自定义数据集检测
基于YOLO模型在自定义数据上做训练，实现对特定目标的**识别和检测**，是CV领域非常经典的任务，也是AI项目落地最热门的方向之一。这篇文章我将带大家使用Ultralytics、SwanLab、Gradio这两个开源工具，完成从数据集准备、代码编写、可视化训练到推理Demo的全过程。
2024-05-29 20:38:00
1077
原创 SwanLab载入omegaconf配置教程
OmegaConf 与swanlab的集成非常简单，直接将omegaconf对象传递给swanlab.config，即可记录为超参数，
2024-05-29 20:36:17
329
原创 Transformers x SwanLab：可视化NLP模型训练
HuggingFace 的 Transformers 是目前最流行的深度学习训框架之一（100k+ Star），现在主流的大语言模型（LLaMa系列、Qwen系列、ChatGLM系列等）、自然语言处理模型（Bert系列）等，都在使用Transformers来进行预训练、微调和推理。
2024-05-28 20:08:26
1227
原创 YOLOv8猫狗检测:从SwanLab可视化训练到Gradio Demo网站
基于YOLO模型在自定义数据上做训练，实现对特定目标的识别和检测，是CV领域非常经典的任务，也是AI项目落地最热门的方向之一。这篇文章我将带大家使用Ultralytics、SwanLab、Gradio这两个开源工具，完成从数据集准备、代码编写、可视化训练到推理Demo的全过程。
2024-05-28 18:15:08
1499
原创 Transformers集成SwanLab实现AI训练可视化监控
你可以使用Transformers快速进行模型训练，同时使用SwanLab进行实验跟踪与可视化。HuggingFace Transformers的是一个非常流行的开源库，它提供了大量预训练的模型，主要用于自然语言处理（NLP）任务。这个库的目标是使最新的模型能够易于使用，并支持多种框架，如 TensorFlow 和 PyTorch。
2024-05-27 21:56:16
749
原创 BERT-IMDB电影评论情感分类实战（完整代码、数据集、实验过程）
基于BERT模型的IMDB电影评论情感分类，是NLP经典的Hello World任务之一。这篇文章我将带大家使用SwanLab、transformers、datasets三个开源工具，完成从数据集准备、代码编写、可视化训练的全过程。观察了一下，中文互联网上似乎很少有能直接跑起来的BERT训练代码和教程，所以也希望这篇文章可以帮到大家。
2024-05-27 14:46:23
4576
3
原创 PyTorchLightning集成SwanLab进行训练监控与可视化
你可以使用PyTorch Lightning快速进行模型训练，同时使用进行实验跟踪与可视化。PyTorch Lightning是一个开源的机器学习库，它建立在 PyTorch 之上，旨在帮助研究人员和开发者更加方便地进行深度学习模型的研发。Lightning 的设计理念是将模型训练中的繁琐代码（如设备管理、分布式训练等）与研究代码（模型架构、数据处理等）分离，从而使研究人员可以专注于研究本身，而不是底层的工程细节。
2024-05-24 15:14:00
446
原创 YOLOv8(Ultralytics)集成SwanLab进行训练监控和可视化
你可以使用Ultralytics快速进行计算机视觉模型训练，同时使用SwanLab进行实验跟踪与可视化。Ultralytics YOLOv8 是一款尖端、最先进的 （SOTA） 模型，它建立在以前 YOLO 版本的成功基础上，并引入了新功能和改进，以进一步提高性能和灵活性。YOLOv8 设计为快速、准确且易于使用，使其成为各种对象检测和跟踪、实例分割、图像分类和姿态估计任务的绝佳选择。的作用是为Ultralytics模型添加回调函数，以在模型训练的各个生命周期执行SwanLab记录。
2024-05-24 15:10:04
425
1
原创 SwanLab入门深度学习：BERT IMDB文本情感分类
基于BERT模型的IMDB电影评论情感分类，是NLP经典的Hello World任务之一。这篇文章我将带大家使用SwanLab、transformers、datasets三个开源工具，完成从数据集准备、代码编写、可视化训练的全过程。观察了一下，中文互联网上似乎很少有能直接跑起来的BERT训练代码和教程，所以也希望这篇文章可以帮到大家。
2024-05-23 16:44:31
1218
1
原创 SwanLab入门深度学习：PyTorch MNIST手写体识别
SwanLab - MNIST手写体识别任务是一个经典的计算机视觉问题，SwanLab入门深度学习、PyTorch MNIST手写体识别、MNIST数据集、PyTorch教程、手写数字识别、深度学习入门、机器学习训练、可视化深度学习、PyTorch实例、神经网络模型、Python深度学习、机器学习项目、SwanLab教程、手写体识别算法、PyTorch基础
2024-05-18 16:53:29
675
原创 SwanLab快速上手（Wandb国产平替）
SwanLab是一款开源、轻量级的AI实验跟踪工具，提供了一个跟踪、比较、和协作实验的平台，旨在加速AI研发团队100倍的研发效率。其提供了友好的API和漂亮的界面，结合了超参数跟踪、指标记录、在线协作、实验链接分享、实时消息通知等功能，让您可以快速跟踪ML实验、可视化过程、分享给同伴。相比于Tensorboard，SwanLab记录的信息更全、使用更方便。相比于Wandb，则访问速度更快，更方便于在国内使用，与主创团队交流更容易。
2024-05-07 17:56:42
1634
原创 SwanLab系列教程：用swanlab.Audio记录音频
SwanLab是一个由国内团队开源的机器学习实验跟踪工具，相比于Tensorboard有更丰富的功能、更友好的UI界面，本教程主要介绍如何用swanlab.Audio记录音频数据。
2024-04-15 21:38:59
174
1
原创 SwanLab系列教程：用swanlab.Image记录图像
SwanLab是一个由国内团队开源的机器学习实验跟踪工具，本教程主要介绍如何用记录图像。
2024-04-15 21:34:00
564
1
原创 如何远程访问SwanLab实验看板
SwanLab是一款轻量的开源机器学习训练可视化工具，在机器学习训练时，远程访问服务器的情况是十分常见的，本教程将介绍如何在远程访问SwanLab实验看板。
2024-01-10 08:43:10
1040
原创 优雅打印PyTorch模型的总参数量、每层名称、尺寸与精度
使用PyTorch进行深度学习训练时，经常需要打印模型结构，查看每一层的名称、尺寸、精度、参数量等等，并在最后计算总参数量。
2024-01-08 09:38:38
2047
原创 PyTorch+SwanLab+Gradio+猫狗分类：轻松从可视化训练到Demo网站
这篇文章我将带大家使用PyTorch、SwanLab、Gradio三个开源工具，完成从的全过程。猫狗分类是计算机视觉最基础的任务之一——如果说完成MNIST手写体识别是实现CV的“Hello World”，那猫狗分类就是旅程的下一站～。
2024-01-06 21:08:01
2607
5
原创 如何用Argparse初始化SwanLab
SwanLab 是一款面向研究人员的开源机器学习训练管理工具，类似Tensorboard或Wandb。Argparse是机器学习训练中非常常用的第三方库，它的主要作用是用来解析命令行参数。通过定义所需的参数，可以从程序外部向程序内部传递各种参数。这样，用户在启动训练模型时，可以灵活地调整模型的参数，如学习率、训练轮数、数据集路径等，从而使得模型训练更加灵活和方便。
2024-01-06 18:54:51
433
1
原创 如何自动生成当前项目的 pip环境列表（requirements.txt）？
开源必备：自动生成当前项目的pip环境列表/requirements.txt
2023-12-31 16:03:39
545
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人