昇思25天学习打卡营第11天|初学入门-模型训练

昇思25天学习打卡营第11天|初学入门-模型训练

模型训练前的数据集准备、数据转换和定义网络模型已经讲过了，略

超参数

超参数一般新手都是学前人的经验的，或者自己一轮轮调出来，当然也可以编程实现自动化获取训练效果最好的学习率等超参数

1. 训练轮次（epoch）：训练时遍历数据集的次数。
2. 批次大小（batch size）：数据集进行分批读取训练，设定每个批次数据的大小。
3. 学习率（learning rate）：如果学习率偏小，会导致收敛的速度变慢，如果学习率偏大，则可能会导致训练不收敛等不可预测的结果。

训练和测试

# Define forward function
def forward_fn(data, label):
    logits = model(data)
    loss = loss_fn(logits, label)
    return loss, logits

# Get gradient function
grad_fn = mindspore.value_and_grad(forward_fn, None, optimizer.parameters, has_aux=True)

# Define function of one-step training
def train_step(data, label):
    (loss, _), grads = grad_fn(data, label)
    optimizer(grads)
    return loss

def train_loop(model, dataset):
    size = dataset.get_dataset_size()
    model.set_train()
    for batch, (data, label) in enumerate(dataset.create_tuple_iterator()):
        loss = train_step(data, label)

        if batch % 100 == 0:
            loss, current = loss.asnumpy(), batch
            print(f"loss: {loss:>7f}  [{current:>3d}/{size:>3d}]")

1. mindspore.value_and_grad根据返回的loss对优化器的参数进行求导获取梯度
2. train_loop函数为循环训练函数，每训练完100个批次就进行输出

def test_loop(model, dataset, loss_fn):
    num_batches = dataset.get_dataset_size()
    model.set_train(False)
    total, test_loss, correct = 0, 0, 0
    for data, label in dataset.create_tuple_iterator():
        pred = model(data)
        total += len(data)
        test_loss += loss_fn(pred, label).asnumpy()
        correct += (pred.argmax(1) == label).asnumpy().sum()
    test_loss /= num_batches
    correct /= total
    print(f"Test: \n Accuracy: {(100*correct):>0.1f}%, Avg loss: {test_loss:>8f} \n")

1. 测试中传入的训练好的模型和测试数据集，以及损失函数的计算方法
2. 测试中药计算准确率和平均损失