skytier-CSDN博客

原创 MindSpore Transformers LLM 数据预处理：Blended Megatron DataLoader

Blended Megatron DataLoader 基于 MindSpore Transformers 构建一体化 LLM 预处理流水线，融合多源权重混合、长度分桶、序列打包、分布式分片、持久化缓存五大工业级优化，解决传统加载器多领域失衡、填充冗余、IO 缓慢、分布式数据重叠问题。代码中通过归一化权重分配样本池容量，训练时可动态调整 weight 实现领域权重退火，前期通用语料占比高，后期提升垂直领域数据权重，适配预训练→微调两阶段流程。

2026-09-30 15:51:34 343

原创昇思 MindSpore 大模型：LoRA 微调模块参数

通用对话任务：r=8，alpha=16，target=["q_proj","v_proj"], lr=2e-4, dropout=0.05；["q_proj", "k_proj", "v_proj", "o_proj"]：四矩阵全部插入，效果最优，但参数量翻倍；# ===================== LoRA核心结构参数 =====================# ===================== 训练超参 =====================

2026-09-30 15:47:22 344

原创昇思 MindSpore 大模型构建流程：数据集标注方案对比

基于昇思 MindSpore 训练大模型，数据集标注分为人工标注、LLM 自动标注、半自动化迭代标注三类方案，三者在成本、数据质量、工程落地难度、昇思训练适配性上差异明显。数据转换流水线：统一对话模板封装，将三类标注文件转为昇思可训练的 GeneratorDataset，内置分词、填充、批处理算子，一套代码兼容所有标注数据源。量化评估代码：通过困惑度 PPL 量化标注优劣，人工标注 PPL 最低、自动标注最高，半自动化介于两者之间，为业务选择标注方案提供数据依据。缺点成本高、周期长，小样本场景使用。

2026-09-09 15:58:56 15

原创昇思 MindSpore 大模型：调度网络模型计算方案

单卡 GRAPH 调度：开启图模式后 MindSpore GE 引擎自动完成算子融合、内存复用、硬件流水调度，Model 高层 API 封装计算调度全流程，一行代码完成前向推理；昇思 MindSpore 针对大模型提供图编译调度、设备调度、分布式多卡调度、推理异步调度四层调度能力，统一支撑预训练、微调、在线推理全场景。print(f"异步调度任务{tid}计算完成，输出shape：{out[0].shape}")下文提供单卡推理调度、多卡分布式训练调度、异步推理调度全套可运行代码，覆盖大模型主流调度场景。

2026-09-09 15:54:50 39

原创 MindSpore的跨界范式重构

AI框架正在成为“通用计算图引擎”。这一演进的驱动力来自两个层面。技术层面，无图融合、DVM、HyperParallel等创新，使得MindSpore的计算图引擎足够轻量、足够高效、足够通用，能够承载从张量运算到偏微分方程、从联邦聚合到强化学习策略的各类计算任务。生态层面，MindSpore Science科研智能体系统、Federated联邦学习框架、Quantum量子计算框架的相继推出，标志着其正在从“单一领域工具”进化为“多学科计算平台”。

2026-09-09 15:52:05 47

原创基于MindSpore的多模态大模型：架构革新、关键技术与全场景落地实践

MindSpore凭借超节点HyperParallel架构、标准化多模态开发套件、轻量化微调优化能力、端边云统一部署体系，彻底解决了多模态大模型训练难、优化难、部署难的行业痛点，为多模态通用人工智能提供了高性能、高效率、全场景的基础底座。从模型预训练、场景微调，到高性能推理、多端部署，MindSpore实现了多模态大模型全生命周期的技术闭环，大幅降低了通用AI的研发与落地门槛。

2026-09-09 15:48:56 90

原创 MindSpore框架下ResNet50图像分类模型训练与评估

kooPage本文详细记录在昇腾910B环境下使用MindSpore框架完成ResNet50图像分类模型的训练与评估全流程，涵盖数据预处理、模型构建、训练配置、断点续训以及精度验证等关键步骤。

2026-09-09 15:46:00 167

原创昇思 MindSpore 大模型构建流程：对齐模式

PPO 依据奖励更新模型参数，在不破坏原有模型能力前提下对齐人类偏好。本文基于 MindSpore 实现轻量化可运行对齐模式代码，覆盖数据处理、SFT 训练、RM 奖励计算、PPO 损失，以代码为主，配套流程解析。大模型对齐模式，主要分为 SFT 监督微调、RM 奖励模型训练、PPO 近端策略优化三个核心阶段，是把预训练基座大模型对齐人类偏好的完整工程链路。在真实工程落地中，不能直接用原始模型输出作为 ppo policy，需要参考 KL 散度约束，约束新模型和 SFT 基座输出分布差异，防止模型漂移；

2026-09-09 15:42:52 155

原创昇思 MindSpore 大模型：神经网络自定义实践

开发大模型时，除网络层堆叠外，还需要配合Parameter可训练参数、算子原语 Primitive、混合精度配置、并行策略配置，完成完整神经网络定义。大模型开发重点：自定义网络块、权重初始化、内核算子接入、并行配置、静态图编译适配，本文全部基于 MindSpore 2.3 版本，以可运行代码、配置片段为主。MindSpore 中神经网络以nn.Cell作为核心基类，网络定义分为：全局上下文配置、自定义基础网络块、Decoder 层堆叠组装顶层模型、损失封装、并行 shard 策略配置。

2026-09-09 15:34:14 148

原创 MindSpore框架在昇腾平台上的分布式训练实践

MindSpore是华为开源的AI计算框架，原生支持昇腾处理器，提供丰富的分布式训练能力。其自动并行特性可以自动将模型拆分到多个NPU上执行，大幅简化分布式训练的开发难度。MindSpore框架为昇腾平台提供了强大的分布式训练能力，通过自动并行、通信优化等技术，可以高效利用多卡多机资源。建议开发者根据模型规模选择合适的并行策略。

2026-09-09 15:29:12 177

原创 MindSpore 大模型构建流程：大规模无标注数据预训练

数据侧做数据去重、质量过滤；通过save_checkpoint保存，load_checkpoint加载，中断预训练后可继续训练；# ===================== 1. 初始化分布式环境(昇腾多卡预训练) =====================# ===================== 5. 优化器、学习率调度、训练执行 =====================# ===================== 4. 预训练网络：损失封装 =====================

2026-09-09 15:13:36 90

原创昇思 MindSpore 大模型：优化目标

=====================优化目标1：预训练ALM损失（带padding mask）=====================# =====================优化目标2：SFT监督微调损失，仅对回答计算loss=====================# =====================优化目标3：知识蒸馏损失（教师软标签+硬标签加权）=====================正则目标：权重衰减、梯度裁剪，属于优化环节约束，不属于损失，但共同构成完整优化目标。

2026-09-09 14:57:51 209

原创 MindSpore开发之路（十六）：训练可视化：使用MindInsight洞察模型行为

可视化是现代深度学习开发中不可或缺的一环。MindInsight为MindSpore用户提供了一个功能强大且易于使用的解决方案，将复杂的训练过程以直观的图表形式呈现出来。MindInsight的重要性：它能帮助我们深入洞察模型行为，从而高效地进行调试和优化。MindInsight的核心使用流程：通过在代码中添加回调来记录数据，然后通过命令启动Web服务来查看数据。MindInsight的主要功能：包括计算图、标量曲线、参数分布等多种可视化视图。

2026-01-31 16:54:43 708

原创昇腾AI创新大赛-昇思模型开发挑战赛（S1赛季）-MultiModal赛道铜奖方案

本文档详细记录了针对 Qwen2-VL 和 janus_pro 模型的关键性能优化点，并附带了相应的核心代码实现。

2026-01-31 16:43:29 1085

原创昇腾平台MindSpore模型训练优化心得体会

MindSpore作为昇腾AI生态的核心深度学习框架，凭借自动微分、动静结合、端边云全场景部署等特性，成为昇腾平台上模型开发的首选工具。在实际模型训练过程中，开发者常面临训练速度慢、显存占用高、资源利用率低等问题。本文结合MindSpore框架特性与昇腾硬件优势，从数据预处理、网络结构优化、训练策略调整、显存优化四个核心维度，分享模型训练的优化思路与实战方法，助力开发者在昇腾平台上高效完成模型训练任务。

2026-01-31 16:41:24 1059

原创昇腾 CL 和 MindSpore 助力 ResNet50 推理

【代码】昇腾 CL 和 MindSpore 助力 ResNet50 推理。

2026-01-31 16:34:22 901

原创 MindSpore全场景协同的AI框架核心技术与生态实践

MindSpore以“端-边-云”全场景统一为核心定位，通过创新的四层架构设计与关键技术特性，破解了传统AI框架在开发效率、性能优化、场景适配等方面的痛点，实现了“易开发、高效执行、全场景部署”的核心目标。其动静统一的编程体验、精准的自动微分、透明的分布式并行与全场景协同能力，让AI技术从算法研究到产业落地的链路更加顺畅，为千行万业的数字化转型提供了强大的技术支撑。

2026-01-31 16:14:47 654

原创 MindSpore框架的核心技术要点与实战建议

开发者应优先掌握其动静态图切换、函数式梯度计算及昇腾专属优化（如图算融合与混合精度），从而在复杂项目中平衡开发效率与性能需求。- 静态图模式：通过图编译优化（如算子融合、内存复用）大幅提升性能，尤其适合昇腾（Ascend）硬件。3. 数据下沉（Data Sink）：减少Host-Device数据拷贝，提升大规模训练吞吐量。- 梯度累积与AllReduce切分：通过分割梯度同步阶段，隐藏通信耗时，优化多机训练效率。- 动态图模式：适合调试，支持实时打印中间结果，类似PyTorch的即时执行方式。

2026-01-31 15:53:47 334

原创从入门到落地：MindSpore实战指南与经验总结

import cv2学习心法：循序渐进，实战为王。按“环境搭建→核心流程→项目落地→优化”推进。MindSpore核心价值：简化开发、全场景适配。希望本文助力开发者快速掌握、落地项目。

2026-01-31 15:46:56 706

原创 mindspore.numpy.unique() 不支持 0 shape tensor

硬件环境(Ascend/GPU/CPU): Ascend/GPU/CPUMindSpore版本: 2.0.0执行模式（PyNative/ Graph）: PyNative模式Python版本: 3.9.15操作系统平台: Linux 18.04。

2025-09-09 15:54:25 527

原创 Ascend print数据落盘使用

mindspore的Print算子有两种模式，一种是直接打屏，还有一种是数据落盘，保存到二进制文件中默认打印在屏幕上。也可以保存在文件中，通过context设置参数。一旦设置，输出将保存在指定文件中。通过函数可以重新加载数据。而且print_file_path只在Ascend上设置生效。

2025-09-09 14:56:56 212

原创 Construct内报错和定位解决

硬件环境(Ascend/GPU/CPU): CPUMindSpore版本: 1.9执行模式: 静态图Python版本: 3.7.5操作系统平台: linux。

2025-09-09 14:54:34 314

原创 GRAPH_MODE下运行ms_tensor = mint.ones_like(input_tensor, dtype=dtype)报错The pointer[device_address] is n

使用Graph模式需要设置ms.set_context(mode=ms.GRAPH_MODE)，使用Cell类并且在construct函数中编写执行代码，此时construct函数的代码将会被编译成静态计算图。原测试代码如果要测试mint.ones_like在图模式下，就需要定义在网络中，这样的话就是图模式下运行该算子。测试代码虽然设置了图模式，但是并没有定义网络，所以相关算子还是运行在pynative模式下。但是即使代码写成如此，也不应该报错。应该是内部实现有问题，导致静态切换动态的时候出问题了。

2025-09-09 14:51:56 277

原创 MindSpore报RuntimeError:Primitive ScatterAdd&apos；s bprop not defined

1、找到报错的用户代码行：;2、根据日志报错信息中的关键字，缩小分析问题的范围：;3、根据该报错信息，可在MindSpore社区提问或提问题单，转由开发人员定位问题根因，并找到解决方案。

2025-09-09 14:47:39 647

原创 MindSpore报错RuntimeError: Thread ID 140706176251712 Unexpected error.

1.可根据报错信息的提示进行问题定位，此案例为CPU核数问题，可在官网教程与开源的MindSpore文档中搜寻设置CPU核数的方法。2.目前MindSpore提供了一种自动数据调优的工具——Dataset AutoTune，用于在训练过程中根据环境资源的情况自动调整数据处理管道的并行度，此过程中会自动检测硬件中CPU的核数进行自适应配置。3.MindSpore中config模块能够设置或获取数据处理的全局配置参数。

2025-09-09 14:44:30 413

原创【MindSpore报错解决地图】常见报错问题和解决方案（持续更新）

1.1 MindSpore数据集加载-调试小工具 py-spy1.2 【MindData】如何将自有数据高效的生成MindRecord格式数据集，并且防止爆内存1.3 【MindSpore Dataset】在使用Dataset处理数据过程中内存占用高，怎么优化？1.4 如何处理数据集加载多进程(multiprocessing)错误1.5 MindRecord-Windows下中文路径问题Unexpected error. Failed to open file1.6 MindRecord数据集格式-Wind

2025-02-26 11:14:15 1541

原创 MindSpore报错ImportError cannot import name “build dataset loader‘ from ‘mindformers.dataset. dataload

报错表示无法加载build_dataset_loader函数。从报错信息给定的位置查找发现__init__.py文件中没有添加这个函数。只需在__init__.py文件中添加build_dataset_loader函数即可。硬件环境(Ascend/GPU/CPU): Ascend。执行模式（PyNative/ Graph）: 不限。MindSpore版本: 2.1。

2024-05-22 03:16:18 565 1

原创 MindSpore开启profile，使用并行策略报错ValueError: When dıstrıbuted loads are slıced we1ghts, sınk mode must be

硬件环境(Ascend/GPU/CPU): Ascend/GPU/CPU。分析配置文件可知，此时开启了profile功能，当前不支持两者同时使用。执行模式（PyNative/ Graph）: 不限。MindSpore版本: 2.1。不同时使用这两个功能。

2024-05-22 03:15:12 350

原创 Ascend上构建MindSpore报has no member named ‘update output desc dpse‘ ；did you mean ‘update_output_desc_d

需要将对应CANN包的latest/opp/built-in/op_proto/inc/experiment_ops.h文件复制并覆盖mindspore目录下的graphengine/910b/third_party/fwkacllib/inc/ops/experiment_ops.h，不需要清缓存，直接重新执行构建命令即可。硬件环境(Ascend/GPU/CPU): Ascend。执行模式（PyNative/ Graph）: 不限。MindSpore和CANN包版本不匹配。

2024-05-22 03:14:12 483

原创 MindSpore和tbe版本不匹配问题及解决

执行完上面命令后，屏幕错误信息中显示类似"CPU"和"tbe"字眼。可以通过执行如下命令自检MindSpore和tbe版本是否匹配。大多数是因为当前虚拟环境的te版本和MindSpore、CANN包不匹配。尝试卸载相关whl包，重装对应CANN路径下的whl包。

2024-05-22 03:12:49 571

原创 MindSpore开启MS_DISABLE_REF_MODE导致报错The device address type is wrong:type name in address:CPU,type nam

分析发现是开启“MS_DISABLE_REF_MODE”环境变量所导致。硬件环境(Ascend/GPU/CPU): Ascend。执行模式（PyNative/ Graph）: 不限。unset此环境变量后即可正常跑通。MindSpore版本: 2.2。

2024-05-22 03:11:56 588 1

原创 MindSpore模型权重功能无法保存更新后的权重

根据上述信息发现最终保存的模型权重还是和初始化权重一样，表示并没有保存到训练之后的权重。升级版本到MindSpore 2.2之后，模型保存可以正常工作。硬件环境(Ascend/GPU/CPU): Ascend。执行模式（PyNative/ Graph）: 不限。MindSpore版本: 2.1.1。

2024-05-22 03:10:52 320

原创 MindSpore在yaml文件的callbacks中配置SummaryMonitor后，开启summary功能失效

的base_trainer.py文件中阴影部分的代码会导致SummaryMonitor失效，所以需要将其注释掉。最好的方法是将mindformers更新到最新版本。硬件环境(Ascend/GPU/CPU): Ascend。执行模式（PyNative/ Graph）: 不限。MindSpore版本: 2.1。

2024-05-22 03:09:41 249

原创 MindSpore开启summary报错ValueError: not enough values to unpack (expected 4, got 0)

硬件环境(Ascend/GPU/CPU): Ascend。解决办法是把上面报错提示中的“_, _, _”去掉。执行模式（PyNative/ Graph）: 不限。MindSpore版本: 2.1.1。应该和两机网络通信有关。

2024-05-22 03:08:55 373

原创 MindSpore开启profiler功能报错IndexError:list index out of range

原因是Ascend环境启动profiler需要配置一些环境命令。硬件环境(Ascend/GPU/CPU): Ascend。执行模式（PyNative/ Graph）: 不限。MindSpore版本: 2.1。

2024-05-22 03:07:49 311

原创 MindSpore保存模型提示：need to checkwhether you is batch size and so on in the ‘net‘ and ‘parameter dict‘ a

2）设置export MS_ENABLE_REF_MODE=1，上述代码则不需要注释。注意：有些环境中设置MS_ENABLE_REF_MODE=1可能会报错，可能是CANN版本等原因，这需要在适合的环境中使用。保存模型需要使用到callback.py中的_save_ckpt()功能，但是在使用Ascend上使用时，会走进如下代码的第一个if判断代码部分，从而导致报错。硬件环境(Ascend/GPU/CPU): Ascend。1）注释掉上面if判断的代码，问题可以解决。MindSpore版本: 2.1。

2024-05-22 03:07:02 304

空空如也

空空如也