- 博客(33)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 MindSpore实践图神经网络之GCN
图卷积网络（GCN）于2016年提出，旨在对图结构数据进行半监督学习。它提出了一种基于卷积神经网络有效变体的可扩展方法，可直接在图上操作。该模型在图边缘的数量上线性缩放，并学习隐藏层表示，这些表示编码了局部图结构和节点特征。GCN（图卷积神经网络) 类似CNN（卷积神经网络），只不过CNN用于二维数据结构，GCN用于图数据结构。GCN实际上跟CNN的作用一样，就是一个特征提取器，只不过它的对象是图数据。GCN精妙地设计了一种从图数据中提取特征的方法。GCN包含两个图卷积层。
2024-05-30 21:57:47
475
2
原创 MindSpore实践图神经网络之图数据
通常一个图（graph)G是由一系列的节点(vertices)V以及边（eage）E，简单的图如下所示。图中包含节点V = {a, b, c, d}，和边E = {(a, b), (b, c), (c, d), (d, b)}，针对图中的连接关系通常需借助数学的方式进行描述，如常用的基于邻接矩阵的方式，用于描述上述图连接关系的矩阵C如下，其中a、 b、c、d对应为第1、2、 3、4个节点。
2024-05-30 21:56:55
1154
原创 MindSpore实践图神经网络之环境篇
MindSpore在Windows11系统下的环境配置。MindSpore环境配置大概分为三步：（1）安装Python环境，（2）安装MindSpore，（3）验证是否成功如果是GPU环境还需安装CUDA等环境，可以参照官网 https://www.mindspore.cn/install接下来介绍几款开发IDE以及辅助工具，此处省略了上一节Minicanda安装Python环境，没有安装可以参照：【MindSpore易点通】图神经网络实践系列01开篇。
2024-05-29 22:52:38
1022
1
原创 MindSpore实现图神经网络之理论篇
但是，现实世界中存在许多复杂系统，这些系统常常表现为复杂网络的形式，如社交网络，交通网络，蛋白质交互网络，由于这些复杂网络的不规则性，传统的神经网络很难直接应用于图数据。消息传递机制指的是要更新某一个点的特征，需要考虑周边和它相连的点的特征，这里就要用到消息函数。然后用另一个网络整合周边节点信息，接着加和到这个节点本身的特征中，这两步更新模式就构成了一个基本的消息传递机制。图神经网络的每一个特征提取层都会对节点的特征和连接的特征进行更新，这种更新模式被叫作消息传递机制。
2024-05-29 22:50:42
759
原创 书生·浦语大模型实战营Day05作业
以API Server方式启动 lmdeploy，开启 W4A16量化，调整KV Cache的占用比例为0.4，分别使用命令行客户端与Gradio网页客户端与模型对话。使用W4A16量化，调整KV Cache的占用比例为0.4，使用Python代码集成的方式运行internlm2-chat-1.8b模型。设置KV Cache最大占用比例为0.4，开启W4A16量化，以命令行方式与模型对话。使用 LMDeploy 运行视觉多模态大模型 llava gradio demo。
2024-04-21 09:10:22
595
1
原创 书生·浦语大模型实战营Day05 LMDeploy 量化部署
书生·浦语大模型实战营Day05 LMDeploy 量化部署LMDeploy 量化部署 LLM-VLM模型部署部署：将开发完毕的软件投入使用的过程服务器：CPU、GPU大模型部署面临的挑战计算量巨大、参数规模大内存开销巨大：K V Cache访存瓶颈、动态请求模型部署方法模型剪枝（Pruning）非结构化剪枝结构化剪枝知识蒸馏（Knoledge Distillation，KD）教师-学生量化（Quantization）量化感知训练（Q
2024-04-20 21:23:29
447
原创 书生·浦语大模型实战营Day04作业
记录复现过程并截图https://openxlab.org.cn/models/detail/sunxiaobei/personal_assistant。
2024-04-18 22:48:16
439
1
原创 Ubuntu下自动安装MindSpore1.7
https://www.mindspore.cn/install自动安装脚本执行完成后，需要重新打开终端窗口以使环境变量生效。
2022-06-19 23:07:16
499
原创 CANN体验之昇腾AI全栈架构
昇腾AI全栈架构昇腾AI 全栈可以分成四个大部分：应用使能层面，此层面通常包含用于部署模型的软硬件，例如API、SDK、部署平台，模型库等等。AI 框架层面，此层面包含用于构建模型的训练框架，例如昇思MindSpore、TensorFlow、Pytorch 等。AI框架层：端、边、云独立协同的统一训练和推理框架异构计算架构CANN，偏底层、偏通用的计算框架，用于针对上层AI 框架的调用进行加速，力求向上支持多种AI 框架
2022-05-31 11:45:21
1406
原创 Mindinsight训练优化过程可视化
神经网络训练本质上是高维非凸函数的优化过程，一般可以通过梯度下降方法发现最小值点(如图1所示)。而一般的神经网络参数多达几万甚至几十万，较难直接在三维空间展示其优化地形。用户通过本功能，能够基于方向降维和绘制计算，将神经网络训练路径周围的优化空间展示出来。使用步骤具体使用步骤共分为两步，以LeNet为例，分类任务，数据集为MNIST，样例代码如下：训练数据收集：在训练过程中，利用SummaryCollector的形式收集多个模型前向网络权重，地形图绘制所需参数（如期望绘制区间，地形图分辨率等）
2022-05-31 11:42:40
305
原创 MindSpore学习之MindInsight源码安装(GPU)
Pip 安装前置环境：MindSpore所需环境（Python、Cuda等）Pip 安装最新版source activate py39_ms17pip install mindinsight源码编译及Docker安装参考：https://www.mindspore.cn/mindinsight/docs/zh-CN/master/mindinsight_install.html验证安装成功mindinsight start --port 8081 --summary-bas
2022-05-31 11:40:40
308
原创 MindSpore学习之算子开发
手把手安装与体验- 算子开发(GPU)TensorAdd 计算逻辑算子开发步骤：（1）算子原语注册算子原语通常包括：算子名：算子名用于唯一标识个算子。输入：算子输入Tensor。属性：一般描述算法参数输入数据合法性校验：对输入数据、属性进行合法性校验输出数据类型和维度推导：用于推导输出的数据类型和维度。自定义算子路径mindspore/python/mindspore/ops/operationsTensorAddV2继承于PrimitiveWithInfer。# min
2022-05-31 11:39:05
421
原创 MindSpore学习之算子开发
手把手安装与体验- 算子开发(GPU)TensorAdd 计算逻辑算子开发步骤：（1）算子原语注册算子原语通常包括：算子名：算子名用于唯一标识个算子。输入：算子输入Tensor。属性：一般描述算法参数输入数据合法性校验：对输入数据、属性进行合法性校验输出数据类型和维度推导：用于推导输出的数据类型和维度。自定义算子路径mindspore/python/mindspore/ops/operationsTensorAddV2继承于PrimitiveWithInfer。# min
2022-05-31 11:34:59
969
原创 MindSpore功能调试
网络调试网络调试的基本流程（1）网络流程调试成功，网络执行整体不报错，正确输出loss值，且正常完成参数更新。打印Checkpoint文件中的权重值，查看两个step的权重是否发生改变，并完成更新。（2）网络多轮迭代执行输出loss值，且loss值具有基本的收敛趋势。（3）网络精度调试，超参调优。用PyNative模式进行流程调试PyNative模式支持执行单算子、普通函数和网络，以及单独求梯度的操作。在PyNative模式下，可以方便地设置断点，获取网络执行的中间结果，也可以通过pdb
2022-05-31 11:30:00
572
原创 MindSpore1.7源码编译安装GPU环境
(1) 前置安装确认是安装 Ubuntu 是x86架构64位操作系统。Ubuntu 18.04 或者Ubuntu20安装GCC、Git、glibc、CMake、OpenSSL。如已安装，跳过。注意，GCC 9不兼容CUDA 10.1# 安装GCCsudo apt-get install gcc-7 git automake autoconf libtool libgmp-dev tcl patch libnuma-dev flex -y# 安装CMakewget -O - htt
2022-05-31 11:13:25
247
原创 MindSpore源码安装编译报错大合集(GPU)
编译报错大合集Required package gmp not found, please install gmp and try building# 安装GCCsudo apt-get install gcc-7 git automake autoconf libtool libgmp-dev tcl patch libnuma-dev flex -yThe C compiler identification is unknown. 未配置环境变量。GCC版本不对。可能gcc、g++的路径和
2022-05-31 11:10:47
363
原创 MindSpore学习之网络迁移调试与调优(以ResNet50为例)
MindSpore学习之网络迁移调试与调优ResNet50为例迁移流程迁移目标: 网络实现、数据集、收敛精度、训练性能复现指标：不仅要复现训练阶段，推理阶段也同样重要。细微差别，属于正常的波动范围。复现步骤：单步复现+整合网络。复现单 Step 的运行结果，即获取只执行第一个 Step 后网络的状态，然后多次迭代出整个网络的运行结果（数据预处理、权重初始化、正向计算、loss 计算、反向梯度计算和优化器更新之后的结果）准备工作安装MindSpore，Python等环境下载源
2022-05-31 11:06:36
2800
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人