MindSpore bert模型训练aicore利用率为0

最新推荐文章于 2024-09-11 18:34:56 发布
最新推荐文章于 2024-09-11 18:34:56 发布
阅读量277 收藏
点赞数
文章标签： bert 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45666880/article/details/126421496
版权
本文探讨了在MindSpore 1.2.0版本中使用自定义BERT模型进行词语相似度匹配时，遇到的资源利用率低和训练时间过长问题。通过调整代码，特别是前向梯度累积部分，解决了这些问题，揭示了代码优化的重要性。
摘要由CSDN通过智能技术生成

MindSpore版本：1.2.0

cann：5.0.1.spc1.2

模型：bert

场景：使用两个形同bert模型对两个词语或短句进行相似度匹配

问题：模型跑起来以后aicore资源利用率为0，并且训练一个batch需要花60s以上的时间，如下图

说明：代码基本都是自己实现，没有参照码云仓bert模型实现，只有在前向梯度累加部分完全复用MindSpore官网代码，链接：https://www.mindspore.cn/tutorial/training/zh-CN/r1.2/advanced_use/apply_gradient_accumulation.html

 主要原因还是代码的问题，由于前向使用的是官网提供的梯度累加的代码，直接改为封装好的api，model.train问题解决

小乐快乐
关注
【MindSpore功能】昇腾910上跑Mindspore.ops中算子，AIcore利用率为0，启动多个进程报错
weixin_45666880的博客
08-26 877
检查用例跑的是不是Ascend上的算子，脚本中context里面的target设置是不是Ascend。另外单算子执行时间本来就很短，可能在你查看利用率的时候用例已经执行结束了。如果一定要查看利用率，建议开两个终端窗口，一个执行用例，另一个实时监控。昇腾910A训练卡上跑Mindspore.ops中算子，执行时npu AIcore利用率为0，启动多个进程运行，AIcore利用率依然为0，且报错。如何提高AIcore利用率呢？...
MindSpore:mirrorpad算子速度过慢的问题
weixin_45666880的博客
08-03 227
mirrorpad算子的速度实在是太太太太慢了！卷积层之前不加mirrorpad0.1s一步，加了mirrorpad之后要0.53s一步，一个算子使网络变慢5倍，实在令人难受，希望尽快优化这个算子，使它在aicore上可以运行，而不是在aicpu上运行。...
昇思MindSpore详细教程
IT菜鸟
02-18 1704
给MindSpore添加一个新的硬件后端(device target)如何给MindSpore添加一个新的硬件后端？快速构建测试环境！如何给MindSpore添加一个新的硬件后端？快速构建测试环境！MindSpore支持异构算力，除支持华为自研的达芬奇架构的Ascend NPU外还支持CPU(e.g. MKLDNN) 以及 GPU(e.g. CUDA kernels)算子的运行。注意。
教你用MindSpore实现Bert
Kenji_Shinji的博客
09-05 1022
Bert主体的网络结构定义在src/bert_model.py内，生成数据集的相关代码在src/dataset.py中，src/ finetune_eval_model.py内存放了finetune相关的网络改造代码，src/bert_for_pre_training.py和src/bert_for_finetune.py封装放了训练相关的类，src/config.py中存放了配置信息。使用时通过运行脚本中的命令行入参来选中相应的优化器和模型尺寸，特定需求的优化器参数或模型尺寸可以自行修改此文件。
利用bert预训练模型生成句向量或词向量.zip
01-07
本项目是关于如何利用BERT预训练模型生成句向量和词向量的实践教程。 首先，BERT是由Google开发的一种基于Transformer架构的深度学习模型，它在多个自然语言理解任务上取得了前所未有的优秀性能。BERT的核心特点是...
用于各类文本的BERT二次预训练.zip
01-07
这个压缩包“用于各类文本的BERT二次预训练.zip”包含了一个旨在对BERT进行二次预训练的项目，目的是进一步优化模型以适应各种文本类型的数据。 首先，我们来看看**一般的MLM任务**（Masked Language Modeling）。...
利用bert预训练的中文模型进行文本分类 数据集中文情感分析语料chnsenticorp.zip
01-06
利用模型进行单条语句测试 intent.py 注：修改single_predict.py中 get_test_examples,get_labels方法 max_seq_length，需run_classifier.py一致 chinese_L-12_H-768_A-12为预训练的相关模型和词典 data文件夹中为...
利用预训练的中文模型实现基于bert的语义匹配模型 数据集为LCQMC官方数据.zip
01-07
利用模型进行单条语句测试 intent.py chinese_L-12_H-768_A-12为预训练的相关模型和词典 data文件夹中为训练语料，验证语料，测试语料 数据集为LCQMC官方数据 参数说明： max_seq_length sentence的最大长度（字...
mindspore BERT实现对话情感识别
07-01
mindspore BERT实现对话情感识别
pycharm调试知识， 线程进程与深度学习
小泽爱刷题的博客
09-10 1197
多线程在深度学习中主要用于I/O 密集型任务，如数据加载和预处理，以防止数据成为训练过程中的瓶颈。多进程常用于克服 GIL 的限制，处理 CPU 密集型任务，以及在分布式训练中并行化模型训练。GPU 并行计算是深度学习的核心，主要负责大规模矩阵运算和模型训练，并行性是由 GPU 硬件架构提供的，而不是通过 Python 的多线程机制。因此，深度学习中多线程的应用主要集中在数据加载、推理服务和辅助任务，而核心计算则由 GPU 完成并行化处理。多进程。
【Python机器学习】循环神经网络（RNN）——审察模型内部情况
weixin_39407597的博客
09-10 647
Keras附带了一些工具，比如model.summary()，用于审察模型内部情况。随着模型变得越来越复杂，我们需要经常使用model.summary()，否则在调整超参数时跟踪模型内部的内容的变化情况会变得非常费力。
深度学习：怎么看pth文件的参数
weixin_59815450的博客
09-07 515
你需要有创建这个.pth文件时所用的模型的代码。这意味着你需要有模型的类定义和架构。
LSTM处理时序数据：深入解析与实战
异构算力老群群（在读985计算机博士生）的技术博客
09-10 1096
LSTM，全称为Long Short-Term Memory，是一种特殊的RNN结构，旨在解决传统RNN在处理长序列时容易出现的梯度消失或爆炸问题。LSTM通过引入“门”机制和细胞状态，使得网络能够更好地保留长期记忆。
如何将卷积神经网络（CNN）应用于医学图像分析：从分类到分割和检测的实用指南
loveting99的博客
09-07 1037
U-Net：U-Net是一种用于生物医学图像分割的卷积网络。它的关键特点是具有对称的编码器-解码器结构和跳跃连接（skip connections），可以更好地保留和利用图像的空间信息。DeepLab：DeepLab使用空洞卷积（dilated convolutions）来扩展卷积核的感受野，同时保持图像的分辨率，并结合条件随机场（CRFs）进一步精细化分割结果。：YOLO通过将图像划分为网格，并在每个网格中预测边界框和类别，具有实时检测的优势。
如何理解深度学习的训练过程
qq_61033357的博客
09-11 315
这是模型在训练过程中通过数据自动学习的参数，主要是卷积层的权重和偏置。比如卷积核内部的权重（Conv2d中的weights和bias）会随着训练数据的输入和误差的反馈不断更新。以yolov5为例子，训练的目的是把一组输入猫狗图像放到神经网络中，得到一个输出模型，这个模型下次可以直接用来识别哪个是猫，哪个是狗。这些参数是在反向传播过程中由优化器（如Adam、SGD等）自动调整的，目的是使模型更好地拟合训练数据。步长（stride）：决定卷积操作在输入特征图上的移动幅度，影响输出的特征图大小。
对抗性EM用于变分深度学习：在低剂量PET和低剂量CT中的半监督图像质量增强应用|文献速递--Transformer架构在医学影像分析中的应用
weixin_38594676的博客
09-11 919
在PET中 𝛾 = 0.5）：(i) N2N+UNet，(ii) N2N+UNet+Adv，在N2N+UNet中加入对抗学习，(iii) N2N+UNet+DistLat，在N2N+UNet的潜在空间中加入基于EM的分布建模，(iv) N2N+UNet+DistOut，在N2N+UNet的解码器输出处加入GG分布建模，(v) ss-NonAdv-EM，将DistLat和DistOut都加入N2N+UNet，(vi) ssAdvEM，在ss-NonAdv-EM中加入对抗学习。图 2. 结果：定量分析。
深度学习驱动的车牌识别：技术演进与未来挑战
XU157303764的博客
09-09 1673
YOLOv5 在车牌识别中有着广泛的应用。例如在违章停车车牌识别的实践中，首先准备车牌检测的数据集，采用简单的文本格式存储车牌的位置和标签信息，每个图像的标注信息存储在与图像同名的.txt 文件中。然后创建数据集配置文件，告知模型如何加载数据集。训练时选择 YOLOv5s 模型，经过参数设置后进行训练，训练完成后模型权重保存在特定目录下。在车牌识别阶段，加载训练好的模型对图像进行车牌检测，将检测结果绘制在图像上展示。
探索深度学习的奥秘：从理论到实践的奇幻之旅
最新发布
来自计科萌新的编程记录本
09-11 1943
在自然语言处理（NLP）中，Transformer模型通过自注意力（self-attention）机制实现了对序列中每个元素与其他元素之间关系的建模，极大地提升了语言模型的性能。DRL通过深度学习模型来处理复杂的输入（如图像、文本等），并利用强化学习算法来优化模型的行为策略。在自动驾驶领域，深度学习模型通过处理车载摄像头和雷达等传感器收集的数据，实现车辆的自主导航和避障。今天，让我们携手踏上一场探索深度学习奥秘的奇幻之旅，从理论的深邃海洋到实践的广袤大地，揭开它神秘的面纱。
深度解析BERT模型：预训练与语言理解
"本次课程主要围绕BERT模型展开，深入解读了BERT在自然语言处理(NLP)领域的应用，特别是在理解和预训练深度双向变换器方面的贡献。课件内容包括BERT的引入背景、模型架构、预训练阶段的任务以及微调过程，同时通过...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值