【动手学】43 树叶分类竞赛技术总结

最新推荐文章于 2023-10-24 15:00:20 发布
最新推荐文章于 2023-10-24 15:00:20 发布
阅读量292 收藏 1
点赞数
分类专栏： 沐神 文章标签： 深度学习 竞赛
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ckq707718837/article/details/124408653
版权

1、比赛trick

  • 数据增强，测试阶段多次使用稍弱的增强然后取平均
  • 使用多个模型预测，最后结构加权平均
  • 训练算法和学习率
  • 清理数据，在训练数据中有大量噪音，需要做数据清理

2、数据方面

  • 有重复图片，可以手动去除
  • 图片背景较多，而且树叶没有方向性
    • 随机旋转，更大的裁剪
  • 跨图片增强:
    • Mixup :随机叠加两张图片
    • CutMix：随机组合来自不同图片的块

3、模型方面

  • 模型多为ResNet变种
    • DenseNet，ResNeXt ， ResNeSt，…
    • EfficientNet
  • 优化算法为Adam或者其变种，跟平滑，在优化算法或调参不是很好时，可以使用Adam
  • 学习率，一般使用Cosine或者训练不动是往下调整学习率。【可以再自定义代码时可以当训练比较平时，下调学习率】

4、AutoGluon

  • 15行代码，100分钟训练
    代码学习地址
  • 精度96%
    • 可以定制化提升精度
    • 下一版本搜索跟单的模型超参数
    • AG目前关注工业界应用，非比赛

5、总结

  • 提升精度思路：根据数据挑选增强，使用新模型、新优化算法，多模型融合，测试时使用增强
  • 数据相对简单，排名有相对随机性
  • 在工业界应用中:
    • 少使用模型融合和测试时增强，计算代价过高
    • 通常固定模型超参数，而将精力主要花在提升数据质量。
      【思考🤔】半监督方式标注数据系统后面会成为主流
瑾怀轩
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
树叶分类竞赛数据集classify-leaves_kaggle
01-31
kaggle网站深度学习竞赛资源：树叶分类竞赛数据集
李沐动手学深度学习V2-实战Kaggle比赛：叶子分类（Classify Leaves）和代码实现
flyingluohaipeng的博客
05-24 3294
一. 叶子分类 预测叶子图像的类别，该数据集包含 176 个类别，18353 个训练图像，8800 个测试图像。每个类别至少有 50 张图像用于训练，测试集平均分为公共和私人排行榜，网址为：https://www.kaggle.com/competitions/classify-leaves/code 由于images文件夹包含测试集和训练集所有图像，因此需要手动把测试集和训练集分开，所有代码如下，运行在一个GPU上面（lr,weight_decay,epochs = 2e-4,5e-4,100）： i
kaggle竞赛-树叶图片分类项目
MaybeGatsby的博客
08-09 2267
树叶图片分类实战
基于ResNet的图片分类问题实战
john_bee的博客
02-16 1365
在kaggle上的一个分类问题竞赛
【树叶分类】kaggle竞赛
SJZSZYH的博客
03-30 622
Python 中有两种集合类型，一种是 set 类型的集合，另一种是 frozenset 类型的集合，它们唯一的区别是，set 类型集合可以做添加、删除元素的操作，而 forzenset 类型集合不行。sampler：自定义的采样器（shuffle=True时会构建默认的采样器，如果想使用自定义的方法需要构造一个torch.utils.data.Sampler的实例来进行采样，并设置shuffle=False，将实例作为参数传入），返回一个数据数据的下标索引。因为使用了使用ImageNet的均值和标准差。
Kaggle竞赛之176种树叶图片种类识别分类.zip
01-15
通过参与竞赛，学生不仅能够深入学习相关专业知识，还能够接触到最新的科研成果和技术发展趋势。这有助于拓展学生的学科视野，使其对专业领域有更深刻的理解。在竞赛过程中，学生通常需要解决实际问题，这锻炼了他们...
树叶进行自动分类_树叶识别_图像识别_matlab
04-15
资源名：树叶进行自动分类_树叶识别_图像识别_matlab 资源类型：matlab项目全套源码 源码说明： 全部项目源码都是经过测试校正后百分百成功运行的，如果您下载后不能运行可联系我进行指导或者更换。 适合人群：新手...
图像分类数据集：176类森林树叶图像分类数据集（已做数据集划分）
最新发布
04-07
数据包含：176类森林树叶图像分类数据集（已做数据集划分），数据保存按照文件夹保存，经测试，可直接作为图像分类数据集，用ImageFolder打开，无需额外处理。 【数据集介绍】树叶图像分类，176类别：（英文标签） ...
树叶图像特征分类识别程序_树叶分类_图像识别_matlab
04-15
资源名：树叶图像特征分类识别程序_树叶分类_图像识别_matlab 资源类型：matlab项目全套源码 源码说明： 全部项目源码都是经过测试校正后百分百成功运行的，如果您下载后不能运行可联系我进行指导或者更换。 适合...
实战Kaggle比赛（1）：树叶分类
lwf1881的博客
12-08 1957
比赛地址：https://www.kaggle.com/c/leaf-classification/rules 完整代码：https://github.com/SPECTRELWF/kaggle_competition 个人主页：liuweifeng.top:8090 比赛题目：对树叶的类别进行分类，树叶总共99个类别，树叶的图片如下： 我也不知道怎么分类，反正总共有99中类别的树叶。下载到的数据集解压后如下： image里面存了所有的树叶图像，train.csv是训练文件的标号以及类别，后面有一堆的
【沐神课程 - 动手学深度学习】实战二详解之 Kaggle比赛：分类树叶
这里是张聪明，正在学习中，请稍后
12-25 4335
参考与前言 课程链接：跟李沐学AI的个人空间_哔哩哔哩_bilibili 课程主页：https://zh-v2.d2l.ai/chapter_introduction/index.html 相关代码参考：https://github.com/SHENZHENYI/Classify-Leaves-Kaggle-MuLi-d2l-course pytorch官方相关教程参考：https://pytorch.org/tutorials/beginner/blitz/cifar10_tutorial.html
李沐 树叶分类 kaggle
m0_63086198的博客
10-24 176
【代码】李沐 树叶分类 kaggle。
李沐《动手学深度学习》第二版比赛2-Classify Leaves
一直特立独行的猫
07-29 2278
李沐《动手学深度学习》第二版比赛2-Classify Leaves 我的偶像，李沐大神主讲的《动手学深度学习》(使用Pytorch框架，第一版使用的是MXNet框架)目前已经进行到了双向循环神经网络。第二部分(卷积神经网络)的竞赛内容为树叶分类。 首先导入需要的包 # 首先导入包 import torch import torch.nn as nn import pandas as pd import numpy as np from torch.utils.data import Dataset,
【李沐-动手学深度学习】学习笔记大总览 000
Peter_Kinger的博客
07-13 287
该笔记详细描述了非AI领域研0学生利用5个月时间学习该课程，并基于以上课程理解和实践修改遥感领域算法并发表EI文章一篇
深度学习之图像分类（九）--ResNeXt 网络结构
木卯_THU的博客
09-02 2980
深度学习之图像分类（九）ResNeXt 网络结构 目录深度学习之图像分类（九）ResNeXt 网络结构1. 前言2. 组卷积3. ResNeXt block 分析4. 代码 本节学习 ResNeXt 网络结构，以及组卷积原理。学习视频源于 Bilibili。 1. 前言 在提出 ResNet 网络之后，很多模型都会拿 ResNet 网络作为基准和比对。本章讲述的 ResNeXt 网络可以被视作对 ResNet 的小幅升级，其实不难发现其也参考了 Inception 的思想。其原始论文为 Aggregate
TensorFlow 实战案例： ResNeXt 交通标志图像多分类，附Tensorflow完整代码
m0_59596937的博客
01-14 877
各位同学好，今天和大家分享一下如何使用构建神经网络模型，通过ResNeXt 是 ResNet 的改进版，在 bottleneck卷积块 结构上进行了较小的改动，其他都和 ResNet 模块相近，如下图所示，ResNeXt 比 ResNet 的精度更好。
【Kaggle竞赛树叶分类Baseline】上万片树叶分为一百七十六类
jianhunhenbaqi的博客
07-17 6617
【Kaggle竞赛树叶分类1】https://www.kaggle.com/c/classify-leaves 任务是预测叶子图像的类别。该数据集包含 176 个类别、18353 张训练图像、8800 张测试图像。每个类别至少有 50 张图像用于训练。测试集平均分为公共和私人排行榜。本次比赛的评估指标是分类准确度。本章的内容是介绍Baseline。下一章将介绍提升分类准确度的tricks和模型 环境：将使用google colab pro作为代码运行和云服务器平台。 #先分配GPU !nvidia-smi
Kaggle实战之leaf classification（树叶分类）
热门推荐
qq_29462849的博客
06-10 1万+
介绍 首先来直观看下所要分类的图像数据： 在这里一共是99种树叶，每种树叶包含16幅图像，因此训练集中一共1584幅图像。然而，我们不对图像直接操作，kaggle为每个图像提供三组特征：形状连续描述符，内部纹理直方图和细尺度边缘直方图。 对于每个特征，每个叶样本给出一个64属性的向量，因此，对于一幅图像来说，一共是64x3=192个向量。kaggle把每个训练图像转化成一个192维向量...
kaggle比赛：Classify Leaves（使用resnet50预训练模型进行：图片树叶分类）
Ma Sizhou
08-07 3934
目录1、比赛介绍：2、数据划分：3、图像增广：4、读取数据：5、模型构造：6、计算损失：7、模型训练：8、模型推理：9、上传预测结果到kaggle: 本文内容来源于《动手深度学习》一书。跟着沐神做kaggle比赛。 注：以下代码都在jupyter中完成。 1、比赛介绍： 该任务是：给出树叶的图片，将给出的树叶分成176类。 数据如下图所示，通过下面的网址，下载训练数据和测试数据： 比赛地址及数据下载地址：https://www.kaggle.com/c/classify-leaves/da.
如何用pytouch使用resnet101预训练模型进行图片树叶分类，
06-10
好的，你可以按照以下步骤使用PyTorch编写使用resnet101预训练模型进行图片树叶分类的代码： 1. 导入必要的库和模块： ```python import torch import torch.nn as nn import torchvision.models as models import torchvision.transforms as transforms from torch.utils.data import DataLoader ``` 2. 定义数据预处理： ```python transform = transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) ``` 3. 加载数据集： ```python dataset = torchvision.datasets.ImageFolder(root='path/to/dataset', transform=transform) dataloader = DataLoader(dataset, batch_size=32, shuffle=True) ``` 4. 加载预训练模型： ```python model = models.resnet101(pretrained=True) ``` 5. 修改模型的最后一层： ```python num_ftrs = model.fc.in_features model.fc = nn.Linear(num_ftrs, 176) ``` 在这里，176是你数据集中的类别数。 6. 定义损失函数和优化器： ```python criterion = nn.CrossEntropyLoss() optimizer = torch.optim.SGD(model.parameters(), lr=0.001, momentum=0.9) ``` 7. 训练模型： ```python num_epochs = 10 for epoch in range(num_epochs): for images, labels in dataloader: optimizer.zero_grad() outputs = model(images) loss = criterion(outputs, labels) loss.backward() optimizer.step() ``` 在这里，我们训练模型10个epoch。 8. 在测试集上进行评估： ```python correct = 0 total = 0 with torch.no_grad(): for images, labels in testloader: outputs = model(images) _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == labels).sum().item() print('Accuracy of the model on the test images: %d %%' % (100 * correct / total)) ``` 这些是使用PyTorch编写使用resnet101预训练模型进行图片树叶分类的基本步骤。你需要根据自己的具体情况进行相应的修改。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

瑾怀轩

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值