- 博客(60)
- 收藏
- 关注
RSS订阅原创 体验DCGAN生成漫画头像
通俗来说就是老师和学生的关系，老师给学生出题，学生进行答题，一开始是简单的题目学生越做越熟练，准确率越来越高，老师发现难不住学生了，就开始提高教学的深度，给予更难做的题目，学生一开始被难住，但再通过逐步做题提升自己的能力，使自己在这个难度下又孰能生巧，老师和学生就在这种情况下相持，学生就是模型的准确度，在此期间不断提升。下面开始模型的构建与训练，按照DCGAN论文中的描述，所有模型权重均应从mean为0，sigma为0.02的正态分布中随机初始化。判别器是一个二分类网络模型，输出判定该图像为真实图的概率。
2023-01-28 16:45:40
232
原创 api_mapping映射问题检查工具
1、tensorflow_api_mapping和pytorch_api_mapping两篇文档包括torch api和mindspore api差异文件对比里的标题，类标题和链接标题的映射问题比较多。2、标题不对应，无法构建，一个个找过于繁琐，存在的问题也多种多样，无法适应文档更新，需要工具扫描。2、对比差异文件里的标题和总表里的标题名称是否一致。3、对比差异文件中标题，定义，链接名称是否一致。1、首先实现接口名和对应链接的名称是否一致。4、对比差异文件夹里有的文档，总表里是否有。
2023-01-28 16:43:30
234
原创 MindSpore网络迁移310推理的时候报out of memory的错误
我使用的模型总共使用了6层dprnn block，使用5层block可以训练出ckpt文件并export出mindir文件，310推理可以正常运行。后来又尝试了很多方法都解决不了这个问题，只能去gitee官网MindSpore项目下面提交issue，工程师说是因为模型过大就可能导致内存不足，建议看做没做8bit量化，如果是全卷机网络可以把输入大小减少些，后续将输入通道大小减少一半，在未影响精度的前提下310推理可以正常运行。检查了export代码以及310代码，并没有可以导致爆内存的操作。
2023-01-28 16:42:16
245
原创 MindSpore模型迁移bias参数设置
在网络模型迁移过程中，有一项工作非常重要，就是检查一下mindspore和torch对应算子之间的参数默认设置是否相同，如果不同的话，需要手动改成相同的，图中是我在精度调优期间发现的问题，mindspore算子与对应torch算子bias默认设置不同，如果bias设置不一致的话，就会导致算子输出产生很大区别。这大概是跟网络结构有关系。如果卷积层之后跟BatchNorm的话，bias可以不要，因为bias基本会被BatchNorm抹掉，其他的网络结构可以试一试。
2023-01-28 16:41:25
213
原创 MindSpore实验环境创建
Jupyter Notebook开发环境，软件环境numpy、mindspore 1.7.0、python 3.7.5、matplotlib。2.在案例文件所在目录下启动jupyter notebook。1 安装Anaconda或者Miniconda。3.将ipython内核换称刚才创建ms1.7。步骤2 配置Jupyter notebook。1.将notebook实验案例下载到本地。步骤3 打开本实验案例。步骤1 创建软件环境。
2023-01-28 16:40:02
275
转载 昇思MindSpore NLP模型迁移之LUKE模型——阅读理解任务
本文环境：系统：ubuntu18GPU：3090MindSpore版本：1.3数据集：SQuAD1.1（阅读理解任务）阅读理解任务定义：机器阅读理解为QA问答技术中的全新领域，允许用户输入非结构化文本以及问题，机器在阅读理解基础上，从文本中寻找答案回答用户问题。01 数据处理先参考源码将数据处理为模型需要的Mindrecord文件。先参考源码使用roberta_tokenizer将文本转化为token，得到word_ids,word_segment_ids等多个字段。
2023-01-28 16:38:41
164
原创 Ascend print数据落盘使用
关键的代码为：context.set_context(print_file_path=print_file)也可以保存在文件中，通过 context 设置 print_file_path 参数。mindspore的Print算子有两种模式，一种是直接打屏，还有一种是数据落盘，保存到二进制文件中。两个不能放在同一个文件中执行，若是放在一个文件中执行，读取的时候会报错，说没有数据。可以从代码中看到，保存的有三个数据，一个字符串，两个Tensor。2. 通过parse_print接口，读取保存的数据。
2023-01-28 16:36:34
78
原创 Asttokens版本稳定性性的问题
Asttokens版本稳定性性的问题，2.0.4版本会出现以下的报错信息，需要退回到版本2.0.0后解决报错问题。当把numpy中的方法替换成mindspore.numpy后静态图模式下可以正常运行。
2023-01-28 16:35:12
107
转载 paramiko 执行多条语句时，get_pty=True参数的使用
这个命令单执行的时候，文件解压会需要很长的时间。原因是由于如果直接写的话在每条命令后加分号执行时会报错，如果不加分号，分一条命令一条命令地执行，起不到作用，如切换路径等。经过百度，我在ssh的时候添加了look_for_keys=True和调用exec_command的时候加了get_pty=True就可以以成功执行所有命令了。get_pty（bool类型）：实际在远程执行sudo命令时，一般主机都会需要通过tty才能执行，通过把get_pty值设置为True，可以模拟tty；
2023-01-28 16:33:53
1553
转载 使用MindRecord数据格式简化图文案例的内容
背景：官网的应用案例教程力求简洁，主要描述模型结构和训练验证推理过程，其他部分可尽量简洁或者略去。
2023-01-28 16:32:23
151
原创 MindSpore【课程作业经验】基于TextCNN文本情感分类
基于TextCNN文本情感分类在本次实验中我们用mindspore实现TextCNN的针对aclImdb情感分类任务。
2022-08-12 09:12:48
587
原创 【课程作业经验】基于MindSpore疫苗接种数据预测
基于机器学习实践课程完成的相关使用mindspore深度学习框架完成的任务，写一些分享心得。
2022-08-12 09:11:57
292
原创 【课程作业经验】基于MindSpore的梯度下降实验
基于机器学习实践课程完成的相关使用mindspore深度学习框架完成的任务，写一些分享心得。
2022-08-12 09:11:04
450
原创 基于MindSpore Serving部署推理服务
今天要分享的是服务化部署框架（MindSpore Serving）具体要实现的就是一个可以在线识图的页面。
2022-08-12 09:10:13
291
1
原创 MindSpore：YOLOv3人体目标检测模型实现（一）
本项目利用MindSpore框架搭建YOLOv3目标检测模型，从PASCAL VOC 2012数据集中提取出的人体目标检测数据进行模型训练，得到一个人体目标检测模型。期望通过本次项目为MindSpore生态尽自己的一份绵薄之力。...
2022-08-12 09:09:01
1111
3
原创 MindSpore： YOLOv3人体目标检测模型实现（二）
为了节省篇幅，这一节只挑部分贴代码，更多的代码和包的导入请参考 附件\model\yolo.py。（未完，请见下一篇 YOLOv3人体目标检测模型实现（三））损失函数的实现可见 附件\model\loss.py。
2022-08-12 09:06:12
509
原创 【MindSpore报错解决地图】常见报错问题分类（持续更新）
MindSpore常见问题主要包括数据加载与处理问题、网络构建与训练问题以及分布式并行配置问题等。MindSpore在不同场景下，积累了大量常见的问题案例。以下是对应的案例列表。
2022-08-12 09:05:07
1983
原创 MindSpore：YOLOv3人体目标检测模型实现（三）
MindSpore的模型参数采用的是字典格式存储，键是字符串，其命名为你的模型class中的 字段.下一级字段...，若迁移时系统提示冲突，可以根据自己的模型字段重新建一个新字典加载。这里主要是设置保存模型的间隔（config.ckpt_interval 在配置中本来保存的是多少 epoch 保存一下模型文件，这里乘以每个epoch的训练代数，得出每隔多少代保存模型），以及保存模型的路径（config.save_ckpt_path）和保存的文件名前缀。config.eta_min：学习率最小值。...
2022-08-12 09:04:05
775
原创 MindSpore:YOLOv3人体目标检测模型实现（四）
DetectionEngine类主要处理模型前向传播后的输出，包括置信度阈值筛选、NMS算法去除重叠等等工作，最后计算AP的工作也是它完成，对这些计算感兴趣的朋友可以看 附件\utils\utils_yolov3.py 以及 附件\utils\eval_utils.py。这里我们不需要损失函数，所以只用了网络结构YOLOV3DarkNet53，然后用load_yolov3将前面训练好的模型加载进来。...
2022-08-12 09:02:46
372
1
原创 MindSpore:MindScience之MindElec 电磁仿真结果可视化
执行训练：python train.py --epoch 10 --device_target "Ascend" --device_num 0 --checkpoint_dir './ckpt/'eh_tensor为生成的电磁场三维网格文件， shape是(dim_t, dim_x, dim_y, dim_z, 6)电磁仿真的结果一般包含仿真区域内的电磁场、S参数等物理量，因此仿真结果的可视化是非常重要的，它能够直观反映。电磁仿真就是对物体的电磁性能进行仿真模拟，以代替昂贵的原形，并改进设计。...
2022-08-11 16:33:09
382
原创 MindSpore:损失函数nn.SoftmaxCrossEntropyWithLogits 解析
1、由于数据批处理的原因，接口参数logits只支持二维输入，第一维度表示的是batch size；2、sparse 参数取不同的值，对输入labels的shape和type有不同的要求；3、reduction 参数可以指定应用于输出结果的计算方式，例如求均值、求和等。...
2022-08-11 16:19:44
1421
原创 MindSpore：The operation does not support the type [kMetaTypeNone, Tesor...
多看mindspore官方文档，深入了解框架原理及之间的区别，多利用社区。
2022-08-11 16:18:58
255
原创 MindSpore:split后For ‘Mul‘, x.shape and y.shape are supposed to broadcast
迁移时要勤翻pytorch和mindspore api的文档，除了利用mindconvert进行自动映射外，还需要注意一下不支持算子的映射。
2022-08-11 16:18:14
197
原创 MindSpore易点通·精讲系列--数据集加载之MindDataset
在前面的文章中，我们介绍了、CSVDataset及三个数据集加载API。本文为数据集加载部分的最后一篇文章（当然，如果后续读者有需要，再考虑补充其他API精讲），我们将介绍MindSpore中官方数据格式MindRecord加载所涉及的API的。一个完整的机器学习工作流包括数据集读取（可能包含数据处理）、模型定义、模型训练、模型评估。如何在工作流中更好的读取数据，是各个深度学习框架需要解决的一个重要问题。为此，TensorFlow推出了TFRecord数据格式，而MindSpore给出的解决方案就是。...
2022-08-11 16:17:21
374
原创 【课程作业经验】基于Mindspore实现MTCNN
本项目的来源是我选修的北航与华为合作的《AI开源计算系统前沿技术》课程大作业。课程请到华为的各位专家介绍了华为目前的AI软硬件体系，并讲解了许多人工智能领域的知识。我的大作业选题是用轻量级的网络模型backbone，实现手机端人脸检测算法，并使用MindSpore Lite在端侧推理部署。比较遗憾的是整体项目开发进度慢于预期，加上移动端目标检测APP的源码中使用了JNI等我不熟悉的接口，最后没有实现移动端的部署，仅实现了人脸检测+关键点检测神经网络的搭建、训练和测试。...
2022-08-11 16:16:31
261
原创 【MindSpore易点通】MindSpore实践图神经网络01开篇
但是，现实世界中存在许多复杂系统，这些系统常常表现为复杂网络的形式，如社交网络，交通网络，蛋白质交互网络，由于这些复杂网络的不规则性，传统的神经网络很难直接应用于图数据。图神经网络的出现使得深度学习能够在图结构数据上进行表征学习，这一突破促进了图表示学习的快速发展，并在社交网络分析，交通预测，推荐系统等领域得到广泛应用。本系列实践内容主要包含MindSpore的基础使用方法和GNN的实践两部分，第一部分主要介绍MindSpore的基本使用，第二部分主要是基于MindSpore实现一些基础的图神经网络模型。.
2022-08-11 16:14:51
514
原创 MindSpore：昇思大模型体验平台体验记录
点击”项目”，在下面的搜索栏搜索：lenet5_demo。训练结束后，右下角的“开始评估”会变蓝，可以点击。系统会显示“评估中”。（建议显示评估的日志）评估完毕后，系统弹出一个“启动失败”。于是迫不及待地去尝试了一下。系统会创建训练作业。...
2022-08-11 16:10:06
406
原创 MindSpore:图算融合loss出现异常
在Ascend 910A 、mindspore1.1.2 环境下运行图算融合，网络架构是Resnet 50 ，同样的参数条件下，程序正常运行没有任何问题，但是程序中加上（enable_graph_kernel=True） 之后，有时候训练时 loss变为负无穷大，有时候会变成nan，然后都会报错。mindspre r1.2已经解决此问题。现在不知道是什么原因导致图算融合无法运行，有哪位大神可以指点一下吗？...
2022-08-03 21:51:32
273
原创 MindSpore:模型训练出错，但没有error提示
上面的问题应该还是construct中的问题，construct中仅支持特定的字典类型，要求键是str类型，我写的int类型的不支持。x = self.layer4(x)#（b,2048,25,12）输入到赤化层，编程（6,1）,可以自己算一次。# 这里估计也要改，先转化为bunpy格式，在展开，要不可能不靠谱 asnumpy()可以转化为numpy。# x = pool(x)#池化这里可以用笨比方法。#youdianwen题，输出有点不太对啊。# #如果写死了，就不能去改变输入的尺寸。...
2022-08-03 21:50:04
151
原创 MindSpore:yolov3-darknet53能通过修改代码转换成yolov3-tiny吗
darknet上可以直接通过修改yolo配置文件和权重文件实现yolov3和yolov3-tiny的转换，那么mindspore平台提供的model zoo中的yolov3-darknet53能通过同样修改config.py和convert_weight.py的方式实现转换吗。yolov3_darknet53网络主要看下yolo.py这个文件。目前MindSpoer中支持yolov3-darknet53网络的使用，暂时没有yolov3-tiny网络，所以不清楚您要实现的网络结构。...
2022-08-03 21:48:21
150
原创 MindSpore:【反向传递】反向传递过程中遇到未知问题
我的模型里并不包含这一算子。但是他会报找不到这个算子的错误。目前RowTensor 不支持pynative。1、在计算loss值时可以正常计算得到结果。
2022-08-03 21:46:31
102
原创 MindSpore:[Gradoperation]mindspore复合函数求导
可是在华为的官方实现中，只有mindspore.ops.GradOperation，我有两个问题：第一个我怎么去求这个复合函数的二阶导f(interpolate(x))？第二个是我怎么控制Tensor是否进行反向传播？例如，self.weight = Parameter([1.0, 2.0, 3.0], name="weight", requires_grad=False)。如果`f(interpolate(x))`在网络内部是会对其自动微分，如果你想单独只对这个求微分，当前并不支持这种操作。...
2022-08-03 21:44:51
422
原创 MindSpore：Ascend芯片Mindspore代码实现小样本图像分类，在网络训练时出现错误
问题背景：小样本图像分类，需要自定义数据集，采用了GeneratorDataset；自定义采样器Sampler；仿照教程自定义了WithLossCell和TrainOneStepCell，为了以循环的方式。这个问题在1.0版本是存在，不过在1.1版本已经修复，建议你使用当前最新版本。Mindspore环境：v1.0.1，Ascend。进行网络的训练，发现报错。...
2022-08-03 21:35:28
188
原创 MindSpore:modelart中训练模型失败，卡在model.train处
stepl=StepLossAccInfo(model,dataset_val,step_size)#注意这里写一下。net = pcbnet(num_classes=classes)#数据集有多少泪？#可以自己写一个callback，每次epoch后都测试一下结果。#主要是自己要写一个accuracy，来测试。#想每个epoch后验证一下咋写。# 这tm怎么自己写准确率啊。（可选，上传日志内容或者附件）...
2022-08-03 21:34:16
526
原创 MindSpore:官网文档中有的算子或函数，但实际GPU和Ascend都没有
1、文档中ops.BCEWithLogitsLoss和nn.BCEWithLogitsLoss 实际中 GPU和Ascend都没有，但文档说支持Ascend。通过查看MindSpore官网API，对上面两个loss是支持Ascend硬件平台的。（可选，上传日志内容或者附件）
2022-08-03 21:32:57
123
原创 MindSpore:modelarts 中使用notebook开发环境mindspore框架mindspore.train模块找不到
1、使用model arts平台创建notebook，选择了昇腾的版本，目前的版本号是mindspore1.1.1。这就使得在引用mindspore.train.parallel_utils时，出现了找不到模块的问题。2、在华为云学院中的教程上，有一个自然语言处理方面的教程，文档给出的版本是mindspore1.1。工单咨询给出的回复是版本不匹配，请问在新的mindspore版本中，该模块的引用是如何操作的。ParallelMode在mindspore.context中，（可选，上传日志内容或者附件）...
2022-08-03 21:31:51
629
原创 MindSpore: MindSpore GPU版本安装问题
方式2 cuda10.1可以只安装lib库。驱动可以和cuda10.2共用高版本，这样你的服务器可以有多个cuda版本，需要你设置cuda环境变量区分。方式1 可以尝试升级高版本驱动，比如440.33，用于匹配你cuda10.2。如下，是可以正常运行的。根据官网信息，要求CUDA 10.1，是不是CUDA版本不匹配呢？这个问题的原因可能是驱动和版本不匹配导致的。...
2022-08-03 21:30:34
363
原创 【MindSpore】关于 mindspore.nn.CellList 的使用方法
因为我不确定，中间过程中各分支上特征图的尺寸，所有我便不能在网络的__init__函数中预先声明这个方法了，只能在construct执行过程中需要时现声明。现在还并不知道底层的原因，但是尝试、经验给我的答案是，mindspore中有的算子可以在construct中声明后使用，但是大多数的算子只能在__init__中声明后才能在construct中使用。我定义了一个函数，这个是我想要的形式，在construct中调用这个函数，返回CellList。我尝试了三种形式，出现了让我费解的问题。...
2022-07-27 16:55:45
371
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人