昇思MindSpore是华为打造的一个AI框架,可以在手机、服务器上使用,支持英伟达和华为的芯片。模型文件格式是MindIR格式。
API有三个层级:
低阶API,主要包括张量定义、基础算子、自动微分等模块
中阶API,封装了低阶API,提供网络层、优化器、损失函数等模块
高阶API,封装了中阶API,提供了训练推理的管理、混合精度训练、调试调优等高级接口
在华为的官方平台(昇思大模型平台 (mindspore.cn))可以很方便地体验这个框架。
首页里选“AI实验室”,点击“打开Jupyter在线编程环境”
选Ascend (其实用CPU也可以,就是运行速度慢)
快速入门教程分以下几个步骤
处理数据集
网络构建
模型训练
保存模型
加载模型
这里使用了MNIST数据集,图片的宽度是28x28。
以下是网络构建的代码,我加了一些注释。
import mindspore.nn as nn
class Network(nn.Cell):
def __init__(self):
super().__init__()
# 将输入展平为一维向量
# 实例化nn.Flatten层,将28x28的2D张量转换为784大小的连续数组。
self.flatten = nn.Flatten()
# 定义一个包含多个层的顺序容器
self.dense_relu_sequential = nn.SequentialCell(
# 第一个全连接层,输入大小为28*28,输出大小为512,权重初始化为正态分布,偏置初始化为零
nn.Dense(28*28, 512, weight_init="normal", bias_init="zeros"),
# nn.ReLU层给网络中加入非线性的激活函数,帮助神经网络学习各种复杂的特征。
nn.ReLU(),
# 第二个全连接层,输入大小为512,输出大小为512,权重初始化为正态分布,偏置初始化为零
nn.Dense(512, 512, weight_init="normal", bias_init="zeros"),
# nn.ReLU层给网络中加入非线性的激活函数,帮助神经网络学习各种复杂的特征。
nn.ReLU(),
# 第三个全连接层,输入大小为512,输出大小为10,权重初始化为正态分布,偏置初始化为零
nn.Dense(512, 10, weight_init="normal", bias_init="zeros")
)
def construct(self, x):
# 将输入展平为一维向量
x = self.flatten(x)
# 通过顺序容器计算输出
logits = self.dense_relu_sequential(x)
return logits
forward_fn是正向计算函数,grad_fn是梯度计算函数,test是测试函数,用来评估模型的性能, train是训练函数,我加了注释
def train(model, dataset):
# 获取数据集的大小
size = dataset.get_dataset_size()
# 设置模型为训练模式
model.set_train()
# 遍历数据集的每个批次
for batch, (data, label) in enumerate(dataset.create_tuple_iterator()):
# 执行单步训练并获取损失值
loss = train_step(data, label)
# 每100个批次打印一次损失值
if batch % 100 == 0:
loss, current = loss.asnumpy(), batch
print(f"loss: {loss:>7f} [{current:>3d}/{size:>3d}]")
在训练模型的过程中,损失在不断下降,预测准确度在不断提高。
训练结束之后,可以用mindspore.save_checkpoint方法保存训练出来的模型
mindspore.load_checkpoint方法可以用来加载模型,
运行模型进行预测
# 设置模型为评估模式,关闭训练模式
model.set_train(False)
# 遍历测试数据集中的每一个数据和标签
for data, label in test_dataset:
# 使用模型对数据进行预测
pred = model(data)
# 获取预测结果中概率最高的类别
predicted = pred.argmax(1)
# 打印前10个预测结果和实际标签
print(f'Predicted: "{predicted[:10]}", Actual: "{label[:10]}"')
预测和实际标签是吻合的
Predicted: "Tensor(shape=[10], dtype=Int32, value= [3, 9, 6, 1, 6, 7, 4, 5, 2, 2])", Actual: "Tensor(shape=[10], dtype=Int32, value= [3, 9, 6, 1, 6, 7, 4, 5, 2, 2])"