- 博客(10)
- 收藏
- 关注
RSS订阅原创 DeepSeek-R1-Zero的复现调试（swanlab观测实验过程）
本文旨在对deepseek-r1-zero进行复现实验，详细介绍了从r1原理到代码实现，再到结果观测的整个过程。在实验中，采用了基石智算平台来实现GRPO（基于PPO的优化算法），并通过SwanLab监控实验过程，确保实验的每个阶段都能精确跟踪与调试。通过这一系列的实验步骤，本文希望帮助用户更好地理解基石智算平台的使用方式，并深入掌握GRPO的实现方法。希望读者在实验过程中能够加深对相关技术的理解，并能灵活应用于实际项目中。
2025-02-13 05:49:23
910
原创 如何做指令微调？一文轻松上手
在人工智能的快速发展中，指令微调（Instruction Tuning）成为了提升大型语言模型（LLM）能力的重要手段。与传统的训练方式不同，微调更多聚焦于在现有模型的基础上进行适应性调整，使其能够更好地执行特定任务或响应用户的指令。本文将带领大家一起深入了解指令微调的概念与实践方法，尤其是针对LLama2-Alpaca模型的微调实现。我们将从数据准备到微调代码的实现，再到如何使用SwanLab来查看微调的进展与结果，全面解析指令微调的整个过程。
2024-12-18 18:44:56
1796
1
原创 使用openMind完成一个简单的微调任务(使用swanlab可视化工具)
openMind Library是一个深度学习开发套件，通过简单易用的API支持模型预训练、微调、推理等流程。openMind Library通过一套接口兼容PyTorch和MindSpore等主流框架，同时原生支持昇腾NPU处理器，同时openMind Library可以和PEFTDeepSpeed等三方库配合使用，来加速模型微调效率。
2024-12-09 16:05:32
808
原创 DeepSeek-llm-7B-Chat微调教程(使用SwanLab可视化工具)
DeepSeek系列大模型由杭州深度求索高性价比：DeepSeek-V2模型以其史无前例的性价比著称，推理成本被降到每百万token仅1块钱，约等于Llama3 70B的七分之一，的七十分之一。架构创新：DeepSeek对模型架构进行了全方位创新，提出崭新的MLA（一种新的多头潜在注意力机制）架构，把显存占用降到了过去最常用的MHA架构的5%-13%，同时，独创的DeepSeekMoESparse结构，也把计算量降到极致。开源模型。
2024-12-04 14:38:20
3036
原创 常见的大模型微调各种参数都是什么意思，有什么用
想必很多人在初次接触大模型的时候，无论是训练还是推理都会接触很多参数，我当初学的时候其实一大堆的参数其实就算查了是什么意思，但是脑子里其实没有什么概念，比如learning rate、epoch、lora等等，这些参数大了还是小了对实验有什么影响，尤其是初学的时候找github上现成的微调框架，但是其实每一部分都看不懂是什么意思，微调也是调了个寂寞。这篇文章想把之前的踩坑的经验、还有各种参数的意义具象化展示给大家，希望给初学或者学了段时间的小伙伴一些帮助。
2024-12-03 20:51:08
1709
原创 BaiChuan2-7B-finetune完整微调代码（Swanlab可视化工具）
SwanLab是一款完全开源免费的机器学习日志跟踪与实验管理工具，为人工智能研究者打造。基于一个名为swanlab的python库可以帮助您在机器学习实验中记录超参数、训练日志和可视化结果能够自动记录logging、系统硬件、环境配置（如用了什么型号的显卡、Python版本是多少等等）可以完全离线运行，在完全内网环境下也可使用SwanLab官方文档 | 先进的AI团队协作与模型创新引擎Environment Card：实验参数卡片Charts：记录loss和accuracy。
2024-11-24 18:18:40
1170
原创 基于LangChain实现RAG（大模型使用通义千问）
RAG（Retrieval-Augmented Generation）是一种结合了检索和生成的方法，旨在提高自然语言处理任务的性能。相对于预训练和微调，RAG的优势在于能够利用外部知识源，如知识图谱或文档数据库，以增强模型的理解和生成能力。此外，RAG还可以通过检索相关信息来减少对大规模预训练数据的依赖，从而降低计算成本。
2024-11-14 19:38:45
1539
原创 AI芯片资料概述
AI芯片也被称为AI加速器或计算卡，从广义上讲只要能够运行人工智能算法的芯片都叫作 AI 芯片。但是通常意义上的 AI 芯片指的是针对人工智能算法做了特殊加速设计的芯片。
2024-10-12 14:09:52
1740
原创 用BERT实现古诗生成
之前在博客上查找些资料，想找一些能实现用bert进行古诗生成的代码进行训练，然后有利用tensorflow或者Paddlepaddle进行训练的，然后想用pytorch进行训练，于是就写了份用pytorch预训练的bert模型代码。#### 定义损失函数和优化器。
2024-06-16 16:54:45
1281
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人