Datawhale第13期组队学习笔记Task1（包含baseline常见问题汇总）

最新推荐文章于 2024-05-04 23:11:48 发布
最新推荐文章于 2024-05-04 23:11:48 发布
阅读量545 收藏 2
点赞数
文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wxianbin/article/details/106204150
版权

本次组队学习基于计算机视觉实践（街景字符编码识别）：

baseline报错和常见问题：

  • 1
    路径问题：报错类似于找不到文件或者下图这种
    在这里插入图片描述
    因为默认运行读取csv程序后，不一定是baseline的数据存放格式，如我的路径就是在这里插入图片描述
    所以应该把源代码中
train_path = glob.glob('../input/train/*.png')
train_path.sort()
train_json = json.load(open('../input/train.json'))

改为

train_path = glob.glob('./你的数据路径/train/*.png')
train_path.sort()
train_json = json.load(open('./你的数据路径/train.json'))
  • 2
    下载resnet18-5c106cde.pth过慢
    如下图
    在这里插入图片描述
    可以直接进入网站https://download.pytorch.org/models/resnet18-5c106cde.pth用第三方下载器载pth文件，然后放到上面显示的路径里面，我的是C:\Users\wxb.cache\torch，即可跳过下载pth这一步。
  • 3
    多线程报错 The “freeze_support()” line can be omitted if the program
    is not going to be frozen to produce an executable.
    在这里插入图片描述
    参考链接1，由于个人电脑原因，多线程可能不一定适合每个人，建议修改源代码
train_loader = torch.utils.data.DataLoader(
    SVHNDataset(train_path, train_label,
                transforms.Compose([
                    transforms.Resize((64, 128)),
                    transforms.RandomCrop((60, 120)),
                    transforms.ColorJitter(0.3, 0.3, 0.2),
                    transforms.RandomRotation(5),
                    transforms.ToTensor(),
                    transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
    ])),
    batch_size=40,
    shuffle=True,
    num_workers=10,
)

val_path = glob.glob('./dataset/mchar_val/*.png')
val_path.sort()
val_json = json.load(open('./dataset/mchar_val.json'))
val_label = [val_json[x]['label'] for x in val_json]
print(len(val_path), len(val_label))

val_loader = torch.utils.data.DataLoader(
    SVHNDataset(val_path, val_label,
                transforms.Compose([
                    transforms.Resize((60, 120)),
                    # transforms.ColorJitter(0.3, 0.3, 0.2),
                    # transforms.RandomRotation(5),
                    transforms.ToTensor(),
                    transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
    ])),
    batch_size=40,
    shuffle=False,
    num_workers=10,
)

将num_workers=10改为num_workers=0或者注释掉这一行。问题即可解决。

  • 4
    train（）参数过多问题：报错TypeError: train() takes 4 positional arguments but 5 were given，如下图：
    在这里插入图片描述
    只需要将main函数里面
for epoch in range(2):
    train_loss = train(train_loader, model, criterion, optimizer, epoch)
    val_loss = validate(val_loader, model, criterion)

    val_label = [''.join(map(str, x)) for x in val_loader.dataset.img_label]
    val_predict_label = predict(val_loader, model, 1)
    val_predict_label = np.vstack([
        val_predict_label[:, :11].argmax(1),
        val_predict_label[:, 11:22].argmax(1),
        val_predict_label[:, 22:33].argmax(1),
        val_predict_label[:, 33:44].argmax(1),
        val_predict_label[:, 44:55].argmax(1),
    ]).T
    val_label_pred = []

train(train_loader, model, criterion, optimizer, epoch)的最后一个参数删掉即可，最后改为：

for epoch in range(2):
    train_loss = train(train_loader, model, criterion, optimizer)
    val_loss = validate(val_loader, model, criterion)

    val_label = [''.join(map(str, x)) for x in val_loader.dataset.img_label]
    val_predict_label = predict(val_loader, model, 1)
    val_predict_label = np.vstack([
        val_predict_label[:, :11].argmax(1),
        val_predict_label[:, 11:22].argmax(1),
        val_predict_label[:, 22:33].argmax(1),
        val_predict_label[:, 33:44].argmax(1),
        val_predict_label[:, 44:55].argmax(1),
    ]).T
    val_label_pred = []

PS：如果需要改变训练的epoch，修改这个if语句的range（2）为range（你需要训练的epoch数）即可。

  • 5
    数据类型错误：报错RuntimeError: Expected object of scalar type Long but got scalar type Int for argument #2 ‘target’ in call to _thnn_nll_loss_forward
    需要把训练和预测里面的target转为long型，源代码：
def train(train_loader, model, criterion, optimizer):
    # 切换模型为训练模式
    model.train()
    train_loss = []

    for i, (input, target) in enumerate(train_loader):
        if use_cuda:
            input = input.cuda()

            target = target.cuda()

        c0, c1, c2, c3, c4 = model(input)
        loss = criterion(c0, target[:, 0]) + \
               criterion(c1, target[:, 1]) + \
               criterion(c2, target[:, 2]) + \
               criterion(c3, target[:, 3]) + \
               criterion(c4, target[:, 4])

        # loss /= 6
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

        if i % 100 == 0:
            print(loss.item())

        train_loss.append(loss.item())
    return np.mean(train_loss)


def validate(val_loader, model, criterion):
    # 切换模型为预测模型
    model.eval()
    val_loss = []

    # 不记录模型梯度信息
    with torch.no_grad():
        for i, (input, target) in enumerate(val_loader):
            if use_cuda:
                input = input.cuda()
                target = target.cuda()

            c0, c1, c2, c3, c4 = model(input)
            loss = criterion(c0, target[:, 0]) + \
                   criterion(c1, target[:, 1]) + \
                   criterion(c2, target[:, 2]) + \
                   criterion(c3, target[:, 3]) + \
                   criterion(c4, target[:, 4])
            # loss /= 6
            val_loss.append(loss.item())
    return np.mean(val_loss)

改为

def train(train_loader, model, criterion, optimizer):
    # 切换模型为训练模式
    model.train()
    train_loss = []

    for i, (input, target) in enumerate(train_loader):
        if use_cuda:
            input = input.cuda()

            target = target.cuda()

        c0, c1, c2, c3, c4 = model(input)
        loss = criterion(c0, target[:, 0].long()) + \
               criterion(c1, target[:, 1].long()) + \
               criterion(c2, target[:, 2].long()) + \
               criterion(c3, target[:, 3].long()) + \
               criterion(c4, target[:, 4].long())

        # loss /= 6
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

        if i % 100 == 0:
            print(loss.item())

        train_loss.append(loss.item())
    return np.mean(train_loss)


def validate(val_loader, model, criterion):
    # 切换模型为预测模型
    model.eval()
    val_loss = []

    # 不记录模型梯度信息
    with torch.no_grad():
        for i, (input, target) in enumerate(val_loader):
            if use_cuda:
                input = input.cuda()
                target = target.cuda()

            c0, c1, c2, c3, c4 = model(input)
            loss = criterion(c0, target[:, 0].long()) + \
                   criterion(c1, target[:, 1].long()) + \
                   criterion(c2, target[:, 2].long()) + \
                   criterion(c3, target[:, 3].long()) + \
                   criterion(c4, target[:, 4].long())
            # loss /= 6
            val_loss.append(loss.item())
    return np.mean(val_loss)
  • 5
    使用GPU训练时有的问题：
    报错：TypeError: can’t convert CUDA tensor to numpy. Use Tensor.cpu() to copy the tensor to host memory first.
    在这里插入图片描述
    参考链接2
    需要将c0.data.numpy()等改为c0.data.cpu().detach().numpy()，
    修改后：
def predict(test_loader, model, tta=10):
    model.eval()
    test_pred_tta = None

    # TTA 次数
    for _ in range(tta):
        test_pred = []

        with torch.no_grad():
            for i, (input, target) in enumerate(test_loader):
                if use_cuda:
                    input = input.cuda()

                c0, c1, c2, c3, c4 = model(input)
                output = np.concatenate([
                    c0.data.cpu().detach().numpy(),
                    c1.data.cpu().detach().numpy(),
                    c2.data.cpu().detach().numpy(),
                    c3.data.cpu().detach().numpy(),
                    c4.data.cpu().detach().numpy()], axis=1)
                test_pred.append(output)

        test_pred = np.vstack(test_pred)
        if test_pred_tta is None:
            test_pred_tta = test_pred
        else:
            test_pred_tta += test_pred

    return test_pred_tta

此时run程序，成功结束后会出现在这里插入图片描述

使用baseline最后提交csv文件成绩如下：
在这里插入图片描述

接下来细细分析每一个API的功能：

Task1：
首先需要读取数据集，数据集标签是采用json文件编写，标签包括左上角坐标X、字符高度、左上角最表Y 、字符宽度、字符编码 五个参数，如下图所示：

在这里插入图片描述
读取代码为：

 import json
train_json = json.load(open('./路径/train.json'))

赛题的目标是对街景图片中的字符进行识别并分类，所以第一步应该是字符识别。而对于这个任务，在目标检测的算法里面，有几个经典算法可以实现此目标，如：yolo、faster-rcnn、SSD等，后期考虑换模型以提高检测效率。

一条寒鱼
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ICCV 2021美团大规模食品AI挑战赛Task 1开源baseline方案.zip
11-09
美赛竞赛资源，竞赛解决方案，包含完整源码解决方案内容，可用于参赛学习、参考 美赛竞赛资源，竞赛解决方案，包含完整源码解决方案内容，可用于参赛学习、参考 美赛竞赛资源，竞赛解决方案，包含完整源码解决方案...
2022 CCF BDCI 小样本数据分类任务 baseline
Mr____Cheng的博客
09-11 1845
2022 CCF BDCI 小样本数据分类任务 baseline
Datawhale第13期组队学习笔记Task5
wXianBin的博客
06-03 178
TTA及baseline改进思考 测试时增强（test time augmentation, TTA）,可将准确率提高若干个百分点，。这里会为原始图像造出多个不同版本，包括不同区域裁剪和更改缩放程度等，并将它们输入到模型中；然后对多个版本进行计算得到平均输出，作为图像的最终输出分数。   有作弊的嫌疑。   这种技术很有效，因为原始图像显示的区域可能会缺少一些重要特征，在模型中输入图像的多个版本并取平均值，能解决上述问题。 具体代码如下： def predict(test_loader, model, t
入门数据挖掘-心电图信号预测datawhale组队学习笔记-task 1
shuai_shuai_yuan的博客
03-16 302
心电图信号多分类预测挑战赛-Task1 baseline学习笔记1.赛题概况1.1 数据概况1.2 预测指标1.3 多分类算法常见评估指标1.3.1 Confuse Matrix:1.4 赛题分析2. baseline3. 提交成绩 [1] 本文参考datawhale3月组队学习.team-learning-data-mining/HeartbeatClassification 1.赛题概况 比赛地址：天池心跳信号分类预测 比赛要求选手根据给定的数据集，建立模型，预测不同的心跳信号。赛题以预测心电图心跳
Datawhale 零基础入门CV赛事学习笔记-Task1 赛题理解
liuyi6111的博客
05-20 302
Datawhale 零基础入门CV赛事-Task1 赛题理解   心心念念的pandas组队学习这个月没有安排，对自己一个人独自学习自觉性很是怀疑的我，有些懵逼地随大流加入了深度学习的队伍。。。 1 赛题理解   本次比赛是以数字字符识别为切入口，带领小白们粗识深度学习中的图像识别领域。由于对CV缺乏基本的概念，所以首先是查找了一些深度学习的资料。近段时间大家都在热传邱锡鹏老师的蒲公英书，但是因为懒得去看时间紧迫，只百度了一些别人的概述解说类资料飞速地看了看。   宝可梦大师（李宏毅）的《一天搞懂深度学习》
sqlplan baseline 学习笔记
03-02
sqlplanbaseline，绑定执行计划，固定执行计划，使用baseline固定执行计划
hw1-baseline.ipynb
07-13
HW1 ipynb文件
LSTM baseline 补充学习1
08-03
当读到第 100 个单词的时候，word_100 已经记不住前面第 1个，第 2 个或者前面的单词了，因为间隔实在太远了，身处前面单词的信息早就随着不断的传递变
dcase2023-task6b-baseline源代码
10-16
dcase2023_task6b_baseline源代码。
Python数据分析案例44——基于模态分解和深度学习的电负荷量预测(VMD+BiGRU+注意力)
weixin_46277779的博客
05-04 819
使用模态分解+各种神经网络进行风电预测。['LSTM', 'GRU', 'CNN', 'MLP', 'CNN+LSTM', 'BiLSTM', 'Attention','BiGRU+Attention', 'MultiHeadAttention']
第G9周：ACGAN理论与实战
S153580的博客
04-28 1063
这段代码是生成对抗网络（GAN）的训练过程的一部分，它包括生成器、判别器、数据加载器、优化器以及一个保存生成图像的函数。代码首先定义了生成器和判别器，然后设置GPU支持，初始化权重，配置数据加载器，创建优化器，并定义了一个保存生成图像的函数。这段代码是生成对抗网络（GAN）的训练过程，其中包含了多个循环，用于迭代地训练生成器和判别器。判别器网络是生成对抗网络（GAN）的另一部分，它的目标是区分输入的图像是否是真实图像。生成器网络是生成对抗网络（GAN）的一部分，它学习如何从随机噪声生成真实的图像。
强化学习和深度学习的差异对比
天道酬勤
04-26 1038
它是通过展示大量的图片和相应的标签（例如，“猫”、“狗”等）来学习识别模式的，就像是你通过看不同的猫的图片来学习认识猫一样。如果你的问题涉及到需要做出一系列连续的决策，并且需要考虑环境的反馈以优化某种目标（比如控制机器人、制定金融投资策略等），那么强化学习可能是更合适的选择。有时，深度学习和强化学习可以结合使用，形成深度强化学习（DRL），以利用深度学习在表征学习方面的优势，并将其与强化学习的决策能力结合起来。强化学习通常需要更少的标记数据，因为学习是通过与环境的交互来实现的，而不是直接从标记数据中学习。
【深度学习基础（3）】初识神经网络之深度学习hello world
最新发布
hiliang521的博客
05-04 932
【深度学习基础（3）】初识神经网络之深度学习hello world
深度学习之基于Vgg16卷积神经网络印度交警手势识别系统
Q1744828575的博客
05-03 837
一、项目背景随着智能交通系统的发展，手势识别技术成为了一个关键组成部分，特别是在交通管理领域。在印度等人口稠密、交通繁忙的国家，交警手势在指挥交通中扮演着至关重要的角色。然而，由于人为因素和环境因素的影响，传统的交警手势识别方法往往存在识别不准确、反应速度慢等问题。因此，本项目旨在利用深度学习技术，特别是VGG16卷积神经网络，构建一个能够准确、快速地识别印度交警手势的系统。二、项目目标本项目的主要目标是通过深度学习技术，利用VGG16卷积神经网络实现对印度交警手势的自动、准确识别。
笔记12-远程服务器上配置linux深度学习C++环境全过程记录（笔记1和2的同样环境第3次配置）
tfxzgp的博客
04-29 725
（笔记1和2在windows上装的同样环境在远程服务器上配置）
循环神经网络完整实现（Pytorch 13）
March_A的博客
05-04 655
我们构造一个具有256个隐藏单元的单隐藏层的循环神经网络 层rnn_layer。事实上，我们还没有讨论多层循环神经网络的意义。现在仅需要将多层理解为一层循环神经网络的输出被用作下一层循环神经网络的输入就足够了。通过一个隐状态和一个输入，我们就可以用更新后的隐状态计算输出。我们为一个完整的循环神经网络模型定义了一个RNNModel类。注意，rnn_layer只包含隐藏的 循环层，我们还需要创建一个单独的输出层。#@save"""循环神经网络模型"""
基于深度学习的人体关键点检测与姿态识别
qq_45087786的博客
05-04 107
深度学习人体关键点检测，姿态识别。
神经网络与深度学习--网络优化与正则化
weixin_46034279的博客
05-01 1473
神经网络调参是深度学习中不可或缺的一环，它直接影响着模型的性能和泛化能力。当前神经网络模型应用到机器学习时仍有一些问题，主要包括两大类。优化问题深度神经网络优化十分困难。首先他的损失函数是一个非凸函数，找到局部最优解容易，但找到全局最优解并非容易。其次，神经网络参数非常多，训练数据很大，所以无法使用计算代价很高的二阶优化方法。最后，神经网络存在梯度消失或爆炸问题。泛化问题由于神经网络复杂度很高，拟合能力很强，很容易在训练集上过拟合。因此要考虑一定的正则化方法来改进网络泛化能力。
深度学习中的Baseline Network应该怎么翻译、
03-01
"Baseline Network" 可以翻译为 "基准网络"，也可以称之为 "基础网络"，是指在深度学习模型中作为基础参考模型的一种网络结构。通常情况下，基准网络是一个简单的模型，具有较少的层数和参数，能够有效地解决相应的问题，从而为更复杂的模型提供一个性能和效果的基础参考。 在深度学习中，基准网络也可以被用作一种比较标准的方法，用于评估不同模型之间的性能和差异。例如，在图像分类任务中，基准网络可以是一个简单的卷积神经网络模型，而更复杂的模型可以在此基础上进行改进和优化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值