损失函数实现及代码分析

最新推荐文章于 2023-10-24 11:36:21 发布

IT_BD_Zhang

最新推荐文章于 2023-10-24 11:36:21 发布

阅读量651

点赞数

分类专栏：软件工程应用与实践文章标签： python 深度学习

本文链接：https://blog.csdn.net/m0_52073096/article/details/120933394

版权

软件工程应用与实践专栏收录该内容

13 篇文章 1 订阅

订阅专栏

本文详细解析了深度学习中交叉熵损失函数的原理，并提供了在Python环境下实现交叉熵损失函数的代码分析，重点在于理解损失函数在模型训练过程中的作用和计算过程。

摘要由CSDN通过智能技术生成

2021SC@SDUSC

normal_train.py中交叉熵损失函数实现

2021SC@SDUSC

normal_train.py中交叉熵损失函数实现

设置优化器

optimizer = AdamW(
        [
            {"params": model.module.bert.parameters(), "lr": args.lrmain},
            {"params": model.module.linear.parameters(), "lr": args.lrlast},
        ])

设置尺度criterion

criterion = nn.CrossEntropyLoss()

    test_accs = []

    for epoch in range(args.epochs):
        train(labeled_trainloader, model, optimizer, criterion, epoch)

        val_loss, val_acc = validate(
            val_loader, model, criterion, epoch, mode='Valid Stats')
        print("epoch {}, val acc {}, val_loss {}".format(
            epoch, val_acc, val_loss))

当val_acc的值>=best_acc时，将best_acc的值进行更新，把val_acc的值赋给best_acc

        if val_acc >= best_acc:
            best_acc = val_acc
            test_loss, test_acc = validate(
                test_loader, model, criterion, epoch, mode='Test Stats ')
            test_accs.append(test_acc)
            print("epoch {}, test acc {},test loss {}".format(
                epoch, test_acc, test_loss))

    print('Best val_acc:')
    print(best_acc)

    print('Test acc:')
    print(test_accs)

对于枚举valloader中每一批数据的输入，标记和长度，进行loss计算

        for batch_idx, (inputs, targets, length) in enumerate(valloader):
            inputs, targets = inputs.cuda(), targets.cuda(non_blocking=True)
            outputs = model(inputs)
            loss = criterion(outputs, targets)

计算总体样本和总损失

correct += (np.array(predicted.cpu()) ==
                        np.array(targets.cpu())).sum()
            loss_total += loss.item() * inputs.shape[0]
            total_sample += inputs.shape[0]

用设置好的优化器训练模型

def train(labeled_trainloader, model, optimizer, criterion, epoch):
    model.train()

    for batch_idx, (inputs, targets, length) in enumerate(labeled_trainloader):
        inputs, targets = inputs.cuda(), targets.cuda(non_blocking=True)
        outputs = model(inputs)
        loss = criterion(outputs, targets)

        optimizer.zero_grad()
        print('epoch {}, step {}, loss {}'.format(
            epoch, batch_idx, loss.item()))
        loss.backward()
        optimizer.step()