昇思25天学习打卡营第3天|初学入门

黯玥

于 2024-07-03 15:26:04 发布

阅读量1k

点赞数 16

分类专栏：昇思MindSpore学习文章标签：昇思MindSpore学习

本文链接：https://blog.csdn.net/u013563715/article/details/140146725

版权

昇思MindSpore学习专栏收录该内容

6 篇文章 0 订阅

订阅专栏

昇思25天学习打卡营第3天

模型训练

模型训练一般分为四个步骤：

构建数据集。
定义神经网络模型。
定义超参、损失函数及优化器。
输入数据集进行训练与评估。

现在我们有了数据集和模型后，可以进行模型的训练与评估。

构建数据集

首先从数据集 Dataset加载代码，构建数据集。

%%capture captured_output
# 实验环境已经预装了mindspore==2.2.14，如需更换mindspore版本，可更改下面mindspore的版本号
!pip uninstall mindspore -y
!pip install -i https://pypi.mirrors.ustc.edu.cn/simple mindspore==2.2.14

import mindspore
from mindspore import nn
from mindspore.dataset import vision, transforms
from mindspore.dataset import MnistDataset

# Download data from open datasets
from download import download

url = "https://mindspore-website.obs.cn-north-4.myhuaweicloud.com/" \
      "notebook/datasets/MNIST_Data.zip"
path = download(url, "./", kind="zip", replace=True)


def datapipe(path, batch_size):
    image_transforms = [
        vision.Rescale(1.0 / 255.0, 0),
        vision.Normalize(mean=(0.1307,), std=(0.3081,)),
        vision.HWC2CHW()
    ]
    label_transform = transforms.TypeCast(mindspore.int32)

    dataset = MnistDataset(path)
    dataset = dataset.map(image_transforms, 'image')
    dataset = dataset.map(label_transform, 'label')
    dataset = dataset.batch(batch_size)
    return dataset

train_dataset = datapipe('MNIST_Data/train', batch_size=64)
test_dataset = datapipe('MNIST_Data/test', batch_size=64)

定义神经网络模型

从网络构建中加载代码，构建一个神经网络模型。

class Network(nn.Cell):
    def __init__(self):
        super().__init__()
        self.flatten = nn.Flatten()
        self.dense_relu_sequential = nn.SequentialCell(
            nn.Dense(28*28, 512),
            nn.ReLU(),
            nn.Dense(512, 512),
            nn.ReLU(),
            nn.Dense(512, 10)
        )

    def construct(self, x):
        x = self.flatten(x)
        logits = self.dense_relu_sequential(x)
        return logits

model = Network()

定义超参、损失函数和优化器

超参

超参（Hyperparameters）是可以调整的参数，可以控制模型训练优化的过程，不同的超参数值可能会影响模型训练和收敛速度。目前深度学习模型多采用批量随机梯度下降算法进行优化，随机梯度下降算法的原理如下：

$w_{t+1}=w_{t}-\eta \frac{1}{n} \sum_{x \in \mathcal{B}} \nabla l\left(x, w_{t}\right)$

公式中， $n$ 是批量大小（batch size）， $η$ 是学习率（learning rate）。另外， $w_{t}$ 为训练轮次 $t$ 中的权重参数， $\nabla l$ 为损失函数的导数。除了梯度本身，这两个因子直接决定了模型的权重更新，从优化本身来看，它们是影响模型性能收敛最重要的参数。一般会定义以下超参用于训练：

训练轮次（epoch）：训练时遍历数据集的次数。
批次大小（batch size）：数据集进行分批读取训练，设定每个批次数据的大小。batch size过小，花费时间多，同时梯度震荡严重，不利于收敛；batch size过大，不同batch的梯度方向没有任何变化，容易陷入局部极小值，因此需要选择合适的batch size，可以有效提高模型精度、全局收敛。
学习率（learning rate）：如果学习率偏小，会导致收敛的速度变慢，如果学习率偏大，则可能会导致训练不收敛等不可预测的结果。梯度下降法被广泛应用在最小化模型误差的参数优化算法上。梯度下降法通过多次迭代，并在每一步中最小化损失函数来预估模型的参数。学习率就是在迭代过程中，会控制模型的学习进度。

epochs = 3
batch_size = 64
learning_rate = 1e-2

损失函数

损失函数（loss function）用于评估模型的预测值（logits）和目标值（targets）之间的误差。训练模型时，随机初始化的神经网络模型开始时会预测出错误的结果。损失函数会评估预测结果与目标值的相异程度，模型训练的目标即为降低损失函数求得的误差。

常见的损失函数包括用于回归任务的nn.MSELoss（均方误差）和用于分类的nn.NLLLoss（负对数似然）等。 nn.CrossEntropyLoss 结合了nn.LogSoftmax和nn.NLLLoss，可以对logits 进行归一化并计算预测误差。

loss_fn = nn.CrossEntropyLoss()

优化器

模型优化（Optimization）是在每个训练步骤中调整模型参数以减少模型误差的过程。MindSpore提供多种优化算法的实现，称之为优化器（Optimizer）。优化器内部定义了模型的参数优化过程（即梯度如何更新至模型参数），所有优化逻辑都封装在优化器对象中。在这里，我们使用SGD（Stochastic Gradient Descent）优化器。

我们通过model.trainable_params()方法获得模型的可训练参数，并传入学习率超参来初始化优化器。

optimizer = nn.SGD(model.trainable_params(), learning_rate=learning_rate)

在训练过程中，通过微分函数可计算获得参数对应的梯度，将其传入优化器中即可实现参数优化，具体形态如下：

grads = grad_fn(inputs)

optimizer(grads)

训练与评估

设置了超参、损失函数和优化器后，我们就可以循环输入数据来训练模型。一次数据集的完整迭代循环称为一轮（epoch）。每轮执行训练时包括两个步骤：

训练：迭代训练数据集，并尝试收敛到最佳参数。
验证/测试：迭代测试数据集，以检查模型性能是否提升。

接下来我们定义用于训练的train_loop函数和用于测试的test_loop函数。

使用函数式自动微分，需先定义正向函数forward_fn，使用value_and_grad获得微分函数grad_fn。然后，我们将微分函数和优化器的执行封装为train_step函数，接下来循环迭代数据集进行训练即可。

# Define forward function
def forward_fn(data, label):
    logits = model(data)
    loss = loss_fn(logits, label)
    return loss, logits

# Get gradient function
grad_fn = mindspore.value_and_grad(forward_fn, None, optimizer.parameters, has_aux=True)

# Define function of one-step training
def train_step(data, label):
    (loss, _), grads = grad_fn(data, label)
    optimizer(grads)
    return loss

def train_loop(model, dataset):
    size = dataset.get_dataset_size()
    model.set_train()
    for batch, (data, label) in enumerate(dataset.create_tuple_iterator()):
        loss = train_step(data, label)

        if batch % 100 == 0:
            loss, current = loss.asnumpy(), batch
            print(f"loss: {loss:>7f}  [{current:>3d}/{size:>3d}]")

test_loop函数同样需循环遍历数据集，调用模型计算loss和Accuray并返回最终结果。

def test_loop(model, dataset, loss_fn):
    num_batches = dataset.get_dataset_size()
    model.set_train(False)
    total, test_loss, correct = 0, 0, 0
    for data, label in dataset.create_tuple_iterator():
        pred = model(data)
        total += len(data)
        test_loss += loss_fn(pred, label).asnumpy()
        correct += (pred.argmax(1) == label).asnumpy().sum()
    test_loss /= num_batches
    correct /= total
    print(f"Test: \n Accuracy: {(100*correct):>0.1f}%, Avg loss: {test_loss:>8f} \n")

我们将实例化的损失函数和优化器传入train_loop和test_loop中。训练3轮并输出loss和Accuracy，查看性能变化。

loss_fn = nn.CrossEntropyLoss()
optimizer = nn.SGD(model.trainable_params(), learning_rate=learning_rate)

for t in range(epochs):
    print(f"Epoch {t+1}\n-------------------------------")
    train_loop(model, train_dataset)
    test_loop(model, test_dataset, loss_fn)
print("Done!")

结果输出：
Epoch 1
-------------------------------
loss: 2.307103  [  0/938]
loss: 1.758749  [100/938]
loss: 0.928497  [200/938]
loss: 0.677495  [300/938]
loss: 0.463961  [400/938]
loss: 0.343024  [500/938]
loss: 0.354307  [600/938]
loss: 0.518067  [700/938]
loss: 0.232976  [800/938]
loss: 0.343765  [900/938]
Test: 
 Accuracy: 90.8%, Avg loss: 0.315937 

Epoch 2
-------------------------------
loss: 0.286438  [  0/938]
loss: 0.472248  [100/938]
loss: 0.312173  [200/938]
loss: 0.259874  [300/938]
loss: 0.457914  [400/938]
loss: 0.193126  [500/938]
loss: 0.384219  [600/938]
loss: 0.215655  [700/938]
loss: 0.236416  [800/938]
loss: 0.200132  [900/938]
Test: 
 Accuracy: 92.9%, Avg loss: 0.249953 

Epoch 3
-------------------------------
loss: 0.291161  [  0/938]
loss: 0.266009  [100/938]
loss: 0.092896  [200/938]
loss: 0.185963  [300/938]
loss: 0.194996  [400/938]
loss: 0.358232  [500/938]
loss: 0.339983  [600/938]
loss: 0.201048  [700/938]
loss: 0.192553  [800/938]
loss: 0.301402  [900/938]
Test: 
 Accuracy: 93.7%, Avg loss: 0.212539 

Done!

保存与加载

上一章节主要介绍了如何调整超参数，并进行网络模型训练。在训练网络模型的过程中，实际上我们希望保存中间和最后的结果，用于微调（fine-tune）和后续的模型推理与部署，本章节我们将介绍如何保存与加载模型。

%%capture captured_output
# 实验环境已经预装了mindspore==2.2.14，如需更换mindspore版本，可更改下面mindspore的版本号
!pip uninstall mindspore -y
!pip install -i https://pypi.mirrors.ustc.edu.cn/simple mindspore==2.2.14

import numpy as np
import mindspore
from mindspore import nn
from mindspore import Tensor

def network():
    model = nn.SequentialCell(
                nn.Flatten(),
                nn.Dense(28*28, 512),
                nn.ReLU(),
                nn.Dense(512, 512),
                nn.ReLU(),
                nn.Dense(512, 10))
    return model

保存和加载模型权重

保存模型使用save_checkpoint接口，传入网络和指定的保存路径：

model = network()
mindspore.save_checkpoint(model, "model.ckpt")

要加载模型权重，需要先创建相同模型的实例，然后使用load_checkpoint和load_param_into_net方法加载参数。

model = network()
param_dict = mindspore.load_checkpoint("model.ckpt")
param_not_load, _ = mindspore.load_param_into_net(model, param_dict)
print(param_not_load)

结果输出：
[]

param_not_load是未被加载的参数列表，为空时代表所有参数均加载成功。

保存和加载MindIR

除Checkpoint外，MindSpore提供了云侧（训练）和端侧（推理）统一的中间表示（Intermediate Representation，IR）。可使用export接口直接将模型保存为MindIR。

model = network()
inputs = Tensor(np.ones([1, 1, 28, 28]).astype(np.float32))
mindspore.export(model, inputs, file_name="model", file_format="MINDIR")

MindIR同时保存了Checkpoint和模型结构，因此需要定义输入Tensor来获取输入shape。

已有的MindIR模型可以方便地通过load接口加载，传入nn.GraphCell即可进行推理。

nn.GraphCell仅支持图模式。

mindspore.set_context(mode=mindspore.GRAPH_MODE)

graph = mindspore.load("model.mindir")
model = nn.GraphCell(graph)
outputs = model(inputs)
print(outputs.shape)

结果输出：
(1, 10)

使用静态图加速

背景介绍

AI编译框架分为两种运行模式，分别是动态图模式以及静态图模式。MindSpore默认情况下是以动态图模式运行，但也支持手工切换为静态图模式。两种运行模式的详细介绍如下：

动态图模式

动态图的特点是计算图的构建和计算同时发生（Define by run），其符合Python的解释执行方式，在计算图中定义一个Tensor时，其值就已经被计算且确定，因此在调试模型时较为方便，能够实时得到中间结果的值，但由于所有节点都需要被保存，导致难以对整个计算图进行优化。

在MindSpore中，动态图模式又被称为PyNative模式。由于动态图的解释执行特性，在脚本开发和网络流程调试过程中，推荐使用动态图模式进行调试。
如需要手动控制框架采用PyNative模式，可以通过以下代码进行网络构建：

%%capture captured_output
# 实验环境已经预装了mindspore==2.2.14，如需更换mindspore版本，可更改下面mindspore的版本号
!pip uninstall mindspore -y
!pip install -i https://pypi.mirrors.ustc.edu.cn/simple mindspore==2.2.14

import numpy as np
import mindspore as ms
from mindspore import nn, Tensor
ms.set_context(mode=ms.PYNATIVE_MODE)  # 使用set_context进行动态图模式的配置

class Network(nn.Cell):
    def __init__(self):
        super().__init__()
        self.flatten = nn.Flatten()
        self.dense_relu_sequential = nn.SequentialCell(
            nn.Dense(28*28, 512),
            nn.ReLU(),
            nn.Dense(512, 512),
            nn.ReLU(),
            nn.Dense(512, 10)
        )

    def construct(self, x):
        x = self.flatten(x)
        logits = self.dense_relu_sequential(x)
        return logits

model = Network()
input = Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))
output = model(input)
print(output)

结果输出：
[[-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]
 [-0.07497295 -0.01996819  0.11828961 -0.07505784 -0.06651713  0.06720132
  -0.08175808 -0.21639574 -0.04644566  0.00188687]]

静态图模式

相较于动态图而言，静态图的特点是将计算图的构建和实际计算分开（Define and run）。有关静态图模式的运行原理，可以参考静态图语法支持。

在MindSpore中，静态图模式又被称为Graph模式，在Graph模式下，基于图优化、计算图整图下沉等技术，编译器可以针对图进行全局的优化，获得较好的性能，因此比较适合网络固定且需要高性能的场景。

如需要手动控制框架采用静态图模式，可以通过以下代码进行网络构建：

import numpy as np
import mindspore as ms
from mindspore import nn, Tensor
ms.set_context(mode=ms.GRAPH_MODE)  # 使用set_context进行运行静态图模式的配置

class Network(nn.Cell):
    def __init__(self):
        super().__init__()
        self.flatten = nn.Flatten()
        self.dense_relu_sequential = nn.SequentialCell(
            nn.Dense(28*28, 512),
            nn.ReLU(),
            nn.Dense(512, 512),
            nn.ReLU(),
            nn.Dense(512, 10)
        )

    def construct(self, x):
        x = self.flatten(x)
        logits = self.dense_relu_sequential(x)
        return logits

model = Network()
input = Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))
output = model(input)
print(output)

结果输出：
[[-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]
 [-0.13221586 -0.1204772  -0.02582647 -0.08580489 -0.01784871 -0.00198492
   0.05919297 -0.09395744  0.05590799  0.0362997 ]]

静态图模式的使用场景

MindSpore编译器重点面向Tensor数据的计算以及其微分处理。因此使用MindSpore API以及基于Tensor对象的操作更适合使用静态图编译优化。其他操作虽然可以部分入图编译，但实际优化作用有限。另外，静态图模式先编译后执行的模式导致其存在编译耗时。因此，如果函数无需反复执行，那么使用静态图加速也可能没有价值。

有关使用静态图来进行网络编译的示例，请参考网络构建。

静态图模式开启方式

通常情况下，由于动态图的灵活性，我们会选择使用PyNative模式来进行自由的神经网络构建，以实现模型的创新和优化。但是当需要进行性能加速时，我们需要对神经网络部分或整体进行加速。MindSpore提供了两种切换为图模式的方式，分别是基于装饰器的开启方式以及基于全局context的开启方式。

基于装饰器的开启方式

MindSpore提供了jit装饰器，可以通过修饰Python函数或者Python类的成员函数使其被编译成计算图，通过图优化等技术提高运行速度。此时我们可以简单的对想要进行性能优化的模块进行图编译加速，而模型其他部分，仍旧使用解释执行方式，不丢失动态图的灵活性。无论全局context是设置成静态图模式还是动态图模式，被jit修饰的部分始终会以静态图模式进行运行。

在需要对Tensor的某些运算进行编译加速时，可以在其定义的函数上使用jit修饰器，在调用该函数时，该模块自动被编译为静态图。需要注意的是，jit装饰器只能用来修饰函数，无法对类进行修饰。jit的使用示例如下：

import numpy as np
import mindspore as ms
from mindspore import nn, Tensor

class Network(nn.Cell):
    def __init__(self):
        super().__init__()
        self.flatten = nn.Flatten()
        self.dense_relu_sequential = nn.SequentialCell(
            nn.Dense(28*28, 512),
            nn.ReLU(),
            nn.Dense(512, 512),
            nn.ReLU(),
            nn.Dense(512, 10)
        )

    def construct(self, x):
        x = self.flatten(x)
        logits = self.dense_relu_sequential(x)
        return logits

input = Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))

@ms.jit  # 使用ms.jit装饰器，使被装饰的函数以静态图模式运行
def run(x):
    model = Network()
    return model(x)

output = run(input)
print(output)

除使用修饰器外，也可使用函数变换方式调用jit方法，示例如下：

import numpy as np
import mindspore as ms
from mindspore import nn, Tensor

class Network(nn.Cell):
    def __init__(self):
        super().__init__()
        self.flatten = nn.Flatten()
        self.dense_relu_sequential = nn.SequentialCell(
            nn.Dense(28*28, 512),
            nn.ReLU(),
            nn.Dense(512, 512),
            nn.ReLU(),
            nn.Dense(512, 10)
        )

    def construct(self, x):
        x = self.flatten(x)
        logits = self.dense_relu_sequential(x)
        return logits

input = Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))

def run(x):
    model = Network()
    return model(x)

run_with_jit = ms.jit(run)  # 通过调用jit将函数转换为以静态图方式执行
output = run(input)
print(output)

当我们需要对神经网络的某部分进行加速时，可以直接在construct方法上使用jit修饰器，在调用实例化对象时，该模块自动被编译为静态图。示例如下：

import numpy as np
import mindspore as ms
from mindspore import nn, Tensor

class Network(nn.Cell):
    def __init__(self):
        super().__init__()
        self.flatten = nn.Flatten()
        self.dense_relu_sequential = nn.SequentialCell(
            nn.Dense(28*28, 512),
            nn.ReLU(),
            nn.Dense(512, 512),
            nn.ReLU(),
            nn.Dense(512, 10)
        )

    @ms.jit  # 使用ms.jit装饰器，使被装饰的函数以静态图模式运行
    def construct(self, x):
        x = self.flatten(x)
        logits = self.dense_relu_sequential(x)
        return logits

input = Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))
model = Network()
output = model(input)
print(output)

基于context的开启方式

context模式是一种全局的设置模式。代码示例如下：

import numpy as np
import mindspore as ms
from mindspore import nn, Tensor
ms.set_context(mode=ms.GRAPH_MODE)  # 使用set_context进行运行静态图模式的配置

class Network(nn.Cell):
    def __init__(self):
        super().__init__()
        self.flatten = nn.Flatten()
        self.dense_relu_sequential = nn.SequentialCell(
            nn.Dense(28*28, 512),
            nn.ReLU(),
            nn.Dense(512, 512),
            nn.ReLU(),
            nn.Dense(512, 10)
        )

    def construct(self, x):
        x = self.flatten(x)
        logits = self.dense_relu_sequential(x)
        return logits

model = Network()
input = Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))
output = model(input)
print(output)

静态图的语法约束

在Graph模式下，Python代码并不是由Python解释器去执行，而是将代码编译成静态计算图，然后执行静态计算图。因此，编译器无法支持全量的Python语法。MindSpore的静态图编译器维护了Python常用语法子集，以支持神经网络的构建及训练。详情可参考静态图语法支持。

JitConfig配置选项

在图模式下，可以通过使用JitConfig配置选项来一定程度的自定义编译流程，目前JitConfig支持的配置参数如下：

jit_level: 用于控制优化等级。
exec_mode: 用于控制模型执行方式。
jit_syntax_level: 设置静态图语法支持级别，详细介绍请见静态图语法支持。

静态图高级编程技巧

使用静态图高级编程技巧可以有效地提高编译效率以及执行效率，并可以使程序运行的更加稳定。详情可参考静态图高级编程技巧。

打卡记录

模型训练打卡记录
保存与加载打卡记录
使用静态图加速打卡记录

黯玥

关注

16
点赞
踩
26

收藏

觉得还不错? 一键收藏
0
评论
昇思25天学习打卡营第3天|初学入门

从网络构建中加载代码，构建一个神经网络模型。nn.ReLU(),nn.ReLU(),超参（Hyperparameters）是可以调整的参数，可以控制模型训练优化的过程，不同的超参数值可能会影响模型训练和收敛速度。wt1wt−η1n∑x∈B∇lxwtwt1wt−ηn1x∈B∑∇lxwt公式中，nnn是批量大小（batch size），ηηη是学习率（learning rate）。另外，wtw_{t}w。
复制链接

扫一扫