天池目标检测比赛入门

最新推荐文章于 2022-09-12 19:58:35 发布
最新推荐文章于 2022-09-12 19:58:35 发布
阅读量1.1k 收藏 13
点赞数 4
文章标签： 目标检测 计算机视觉 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37621571/article/details/122062632
版权

原视频链接

1.定义

输入一张图片或者一段视频，用一个bbox将感兴趣的预定义类别检测出来，同时完成定位和分类。

2.设备

必须要有一块GPU

  • 显卡类型：目前只有nvidia公司的显卡支持cuda及cudnn，AMD显卡也可以通过opengl支持深度学习训练，但是很多op需要自己重构
  • 显存大小：显存大小限制模型训练时输入图像分辨率，batch size大小上限以及模型复杂度
  • 显卡数量：数量主要影响训练速度也就是方案的迭代速度
  • 是否支持半精度(fp16)：可以节约显存从而增大训练尺度，也可以一定程度加速训练，虽然即使是没有tensor core不支持fp16的显卡如1080Ti，也可以利用apex等方案实现fp16训练，但训练速度会比正常训练还慢很多
  • 硬盘：硬盘最好采用固态硬盘，节约IO时间
  • 内存：一些目标检测框架为了加快训练和推理速度，会尽量将所有op都在GPU上完成，但是当你单个训练样本上有非常多boxes的时候，很容易出现爆显存（OOM）的情况。此时为了避免OOM且不想缩小训练尺度，我们可以将这些op动态调整到cpu上完成，此时就会对内存大小有一定占用。
  • CPU：够用就好
  • 机器散热：如果是使用自己本地普通机器（无机房散热环境）的小伙伴们还是要想办法加强散热，合理使用水冷或者强力风冷，提高GPU效率

3.预备基础知识

4.deep learning based OD

https://github.com/hoya012/deep_learning_object_detection

5.常用目标检测开源项目

  • mmdetection
    https://github.com/open-mmlab/mmdetection
  • detectron2
    https://github.com/facebookresearch/detectron2
  • simpleDet https://github.com/TuSimple/simpledet
  • PaddleDetection https://github.com/PaddlePaddle/PaddleDetection

6.参赛基本流程

  • 规则理解掌握
  • 数据分析
  • baseline
  • 方案迭代改进
  • 代码和模型提交
  • 答辩准备
  • 答辩

6.1比赛规则分析

  • 时间节点及不同阶段关联性
    • 精力分配，熬夜伤身
  • 评测指标
    • mAP（配合不同IoU要求）
    • acc+mAP
      这里acc是指，比赛的测试集中会包含一些正常图像，也就是不包含检测目标的图像，我们需要对包含目标的图像和和不包含目标的图像做一个二分类，用到的指标就是acc
    • F1-score
  • 模型限制
    • 数量
    • 体积
  • 运行时间限制
    • 硬性规定
    • 得分加权
    • 时间分数占比

注：mAP(0.5:0.95:0.05)
score的IOU阈值不一样，一个是0.3，一个是0.001
score阈值不一样，一个是0.3，一个是0.001，但是右边mAP大于左边mAP

6.1.1 mAP

6.1.2 模型限制

  • 体积限制
    • 直接将float32格式模型保存为float16格式
    • 采用fp16训练保存float16格式模型
    • 移除不必要的参数，例如optimize优化过程的参数等（好处是：可以帮助更好的恢复训练）
  • 数量限制
    • 由于数量难以界定，现在一般不采用

6.1.3 推理时间

  • 医疗遥感类检测任务图像较大时由于测试需要滑动窗口一般不考虑推理时间
  • 硬性限制：推理速度必须高于n FPS
  • 加权衰减：按照推理时间加权惩罚
  • 时间分数占比
  • 应对的策略：
    • 模型轻量化
    • 减少模型数量
    • 减小infer尺度
    • 特殊的优化手段：多进程异步数据加载，模型压缩量化等

6.2 数据分析

  • 图像大小分布
  • Gt boxes大小及长宽比例分布
  • Gt boxes与图像大小相对比例分布
  • Gt boxes类别分布

以上四点是感受野&anchor&训练尺度

  • Domain分布
  • 数据的特殊性质

a. 图像大小分布：统计数据集中图像大小的分布

  • 医疗、遥感数据常见超大图像，需要合理的crop操作
  • 数据集内图像大小差异较大，需要合理的padding和crop策略
  • 结合自身设备初步判断训练的尺度上限

b. Gt boxes大小及长宽比例分布

  • Boxes 大小分布影响anchor scale设计
  • Boxes 长宽比例分布影响anchor ratio设计
  • 类内和类间boxes大小的分布，影响整体算法的设计，例如多尺度及专家模型以及后处理

c. Gt boxes与图像大小相对比例分布

  • 由这一比例可以计算目标在经过resize进入网络时候的实际大小，从而：
    • 结合图像实际大小决定训练尺度的选取
    • 决定anchor scaleb
    • 决定anchor ratio
    • 决定backbone的选取（模型感受野）
  • 大、中、小三种目标的权衡

d. Gt boxes类别比例分布

  • 非常不均衡，呈现长尾分布（典型代表open image，object365等）：
    • 上采样增强（对数量少的类，可以对框内目标单独做增强）
    • 下采样增强（对数量多的类）
    • 训练动态加权采样（尽量让每个batch选取数量少的类）
    • 稀少数据专家模型

f. 感受野&anchor&训练尺度

  • 三者互相协调
    • 结合以上分析，设定合理的训练尺度
    • 基于resize后的目标boxes大小来讨论（将目标大小依据训练尺度resize）
    • anchor scale 和anchor ratio 接近目标的分布可以加快收领
    • 模型感受野要尽量大于目标长边
      • 缩小训练图像尺度（本质上网络感受野没变，根对数据的感受野变大）
      • 增加网络深度，即选择更深的backbone
      • 最后的卷积采用空洞卷积
      • 引入DCN模块
  • 当一个训练尺度或者一个模型难以协调的时候：
    • 多尺度训练预测
    • 专家模型（这里是基于尺度的专家）
  • https://zhuanlan.zhihu.com/p/44106492
  • https://zhuanlan.zhihu.com/p/55824651

g. 数据的特殊性质

  • 天池津南数字制造算法挑战赛【赛场二】物流限制品检测-X光图像限制品语义分割

    • 图像为RGB的X光成像图片
    • 过观察可以发现数据类似摆拍形式，分布很一致
    • 比赛提供了正常无限制品图片
    • 由于X光透明性质，所以我们可以使用“抠图"+“贴图"的形式来各种进行在线数据增强，将任意的目标从原图中裁剪出来使用“mixup”的方式贴到一个正常无限制品图像中构造新的训练数据

  • 基于虚拟仿真环境下的自动驾驶交通标志识别
    在这里插入图片描述

    • 数据为出题方模拟引擎生成的虚拟数据，存在光照天气等变化，但是交通标志形式变化有限
    • 一张图最多仅有一个交通标志目标
    • 图像尺度很大，但是目标极小
    • 评测指标为iou>0.95的f1值，要求很变态（其实是因为0.75要求的时候分数都刷爆了，都是满分）
    • 采用粗检测+精细检测来应对目标数量及其稀少的检测
    • 以hrnet作为Asbackbone来应对iou要求极高的检测

h. 数据分析引发的思考

  • 模型感受野 & anchor & gt分布
  • 数据增强方式
  • 针对数据特殊性质的特殊处理
  • 验证集划分（额外意义）：
    • 按起葫芦浮起瓢
      • 对应极端情况，一个模型难以满足所有类别
      • 通过验证集对每一类进行指标分析，从而定向解决问题
    • 专家模型
  • 训练采样的方式
    • 在线加权采样
      • 按照类别数量比例加权
      • 按照图片类别丰富度加权（类别越多，权重越大）
    • OHEM等基于loss的采样
  • 正常数据（背景数据）的使用
    • 拼接将含目标图像与正常图像拼接在一起进行训练
    • 抠图+粘贴将目标crop出来以后通过各种方式贴在正常数据上
    • 如果背景数据与含目标数据具有对应关系
      • 做差
      • 通道拼接

6.3 目标检测算法选择

  • 整体算法（anchor-based）
    • Backbone
    • Head
    • Substructure
    • Post-processing

6.3.1 Backbone

  • ResNet
  • ResNext
  • SENet
  • EfficientNet
  • HRNet
  • DCN

6.3.2 FPN

  • FPN
  • PANET
  • NAS-fps
  • Bifpn

6.3.3 Head

  • cascade
  • Double head（回归分类分开）

6.3.4 Post-processing

  • nms
  • Soft-nms
  • 基于最大score的后验二分类
  • 基于类间关系的后处理
  • 基于目标大小及位置先验的后处理

6.4 模型预训练

  • ImageNet 预训练
  • COCO 预训练（推荐用这个，对backbone和fpn都有一个很好的预训练）
  • Open image或object365预训练等
  • 基于目标检测数据集的预训练帮助前景背景的区分
  • 使用DCN时最好采用基于检测数据的预训练，自己从零训练DCN时不一定能够收敛

6.5 模型的继承

  • 多模型集成配合单类最优替代
    • 直接nms
    • score加权集成
    • bboxes voting集成
    • 专家单类替代

6.6 实验&调参

  • 搞清每一个参数的实际含义（理解数据和算法）
  • 可以先在小的backbone上调试与backbone独立的参数
  • 实验时尽量控制变量——明确每一项改动是否work

6.7 心态和节奏

  • 学习第一，兴趣驱动
  • 从入门到top，只需要一次认真的参赛
qq_37621571
关注
  • 4
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
天池初体验——新人实战赛之[离线赛]
wy的点滴
11-05 1万+
写在开头：本篇博文的适用对象为对天池比赛完全不知如何下手的小伙伴。本文将从头开始记录如何最简单地整理数据、提取特征，再建立模型或者使用人工规则进行预测，然后选出数据并提交，最后得到结果。所以，本文并不会更多得关注特征的选择提取以及模型该如何建立。最后，本人所使用的工具为Spark，非常地方便，它包含了spark-sql工具，数据库默认使用的是derby，同时，Spark含有mllib库，能非常方便
阿里天池目标检测
shang_bo_liang的博客
12-10 2563
干货满满~阿里天池目标检测保姆级教程_鱼一一的博客-CSDN博客
目标检测比赛入门:
qq_33031419的博客
04-30 352
目标检测比赛入门: https://www.cnblogs.com/zi-wang/p/12550690.html
天池文本分类比赛入门
Little_Prince715的博客
07-21 369
天池文本分类比赛 task1 赛题理解 本人的工作是CV算法这是第一次接触NLP相关的任务谈谈自己的简单理解。我的出发点会着重CV与NLP的对比出发。 这次的任务是对文本对象进行分类。需要对给定的已经经过匿名处理后的新闻做类别划分，一共有14个类别。这个任务非常类型图像中的图像分类任务，比如Minist数据集中对数字进行分类。 1.文本分类的基本输入是单个文字，图像，图像分类输入的基本元素是单个像素点的像素值。 2.文本是一维数据，并且处理文本数据需要把文本信息向量化再处理，而图像数据可以直接送到CNN处
天池竞赛入门实战——快来一起挖掘幸福感！
hxxjxw的博客
08-25 1291
天池算法大赛是阿里巴巴的(阿里云) 赛题链接：https://tianchi.aliyun.com/competition/entrance/231702/introduction 数据获取 数据清洗整理分析 https://www.cnblogs.com/jp-mao/p/10487082.html code import numpy as np import pandas as pd # 导入train_set和test_set, encoding='...
阿里云天池目标检测比赛
01-19
天池目标检测比赛xmind思维导图
目标检测-部分天池铝型材表面瑕疵数据集
10-25
选取部分天池铝型材表面瑕疵数据集 其中包含三个类别 分别为 cahua=139张 pengshang=69张 tufen=67张 并用YOLO、VOC数据集格式对缺陷进行标注
天池Pandas数据集大场景的目标检测比赛.zip
10-01
比赛项目源码
2022天池商品标志目标检测
02-16
采用的一些处理 global context feature : #5 scale_score : #17 训练推理命令 : #21 基于json划分本地train val : #10 LogDetMini数据集 ...简单介绍: 从openbrand数据模拟复赛分布，随机选取了50类，每类20张作为...
天池大数据比赛.zip
最新发布
01-01
全国大学生电子设计竞赛（National Undergraduate Electronics Design Contest），试题，解决方案及源码。计划或参加电赛的同学可以用来学习提升和参考。程序均是实战案例，经过测试可直接运行。...
---:零基础入门推荐系统是天池大赛推出的新人学习赛。本笔记主要记录一个机器学习新手参考推荐系统的实现步骤，完成一个新闻推荐系统的实操笔记
03-11
--- 零基础入门推荐系统是天池大赛推出的新人学习赛。本笔记主要记录一个机器学习新手参考推荐系统的实现步骤，完成一个新闻推荐系统的实操笔记
阿里天池CV比赛快速入门（1.1） Datawhale 零基础入门CV赛事字符识别-Baseline
csphillip的博客
05-26 1080
比赛链接： https://tianchi.aliyun.com/competition/entrance/531795/introduction?spm=5176.12281973.1005.1.3dd51f54utcdrq 本次新人赛是Datawhale与天池联合发起的零基础入门系列赛事第二场 —— 零基础入门CV赛事之街景字符识别。 赛题以计算机视觉中字符识别为背景，要求选手预测真实场景下的字符识别，这是一个典型的字符识别问题。通过这道赛题可以引导大家走入计算机视觉的世界，主要针对竞赛选手上手视觉赛题
阿里云天池竞赛-零基础入门CV赛事-Task1 赛题理解
pwh1209的博客
05-18 1247
##1赛事理解 赛题名称：零基础入门CV之街道字符识别 赛题目标：通过这道赛题可以引导大家走入计算机视觉的世界，主要针对竞赛选手上手视觉赛题，提高对数据建模能力。 赛题任务：赛题以计算机视觉中字符识别为背景，要求选手预测街道字符编码，这是一个典型的字符识别问题。 为了简化赛题难度，赛题数据采用公开数据集SVHN，因此大家可以选择很多相应的paper作为思路参考。 ###1.1学习目标 理解赛题背景和赛题数据 完成赛题报名和数据下载，理解赛题的解题思路 ###1.2 赛题数据 赛题以街道字符为为赛题数
天池大赛
masbbx123的博客
12-14 2076
今天刚刚注册了帐号，参加了天池大赛。准备先做一个入门的淘宝穿衣的比赛，看看能做出什么样的指标出来。     参与天池大赛的几个好处：     1、有大量的真实的数据下载使用     2、有真实的业务场景     3、有很多人做同样的比赛，可以相互交流，共同提高
天池：零样本目标识别新手笔记2
lsh呵呵
09-13 1610
所用思路和上一个差不多，本篇基于天池论坛的这篇文章：一份简单的baseline+注释（Keras多分类联合训练+欧式距离迁移映射） ，并做了自己的处理。 没有构造如 'non_1'的特征，直接使用如原来的全0特征表示，并对每类特征除和 使用的vgg16 处理后的特征文件如下： ...
天池打比赛之《街景字符编码识别》进阶过程（目标检测，目前最高得分 5名/0.9405）
weixin_45209433的博客
01-06 2333
街景字符编码识别 比赛链接：https://tianchi.aliyun.com/competition/entrance/531795/information 一、赛题数据 训练集数据包括3W张照片，验证集数据包括1W张照片，每张照片包括颜色图像和对应的编码类别和具体位置，测试集A包括4W张照片。 二、初步方案 由于主要偏向目标检测方向，所以首先使用mmdetection中的faster_rcnn训练一个检测模型，先上传一个初级分数： 版本 方案 分数 v1 faster_rcnn_r
干货满满~阿里天池目标检测保姆级教程
qq_40662074的博客
03-21 4008
老司机手把手教学准备设备技术目标检测相关论文数据分析——数据特殊性质目标检测算法的选择模型预训练调参比赛心态答疑环节 郑烨 中科院计算所博士生在读，研究方向为FSOD。CV比赛奖项收割者，有较为丰富的目标检测比赛经验。 录播链接：https://tianchi.aliyun.com/course/video?liveId=41141 准备 设备 显卡：英伟达公司，支持cuda和cudnn的加速，很...
打好天池比赛的步骤
仓小小鼠
05-03 1636
如何在比赛中取得好成绩并成为大牛： 会基本知识 掌握学习方法 用于实践 多与人交流 参与天池比赛需要会的基础知识 xgb,lgb,catboost,numpy，matplotlib，seaborn，sklearn，keras 常用的基础数据数据挖掘常用的类（PS：sklearn可以多学一点，在无论图像还是自然处理还是数据挖掘等都需要sklearn的知识） 参见比赛的步骤 报名参赛（PS：报名...
PPYOLOE：遥感场景下的小目标检测与部署（切图版）
m0_63642362的博客
09-12 1494
结合自动切图，用PP-YOLOE Smalldet检测模型进行遥感小目标检测，并实现高性能Python部署。
怎么使用阿里天池平台训练自己的目标检测模型
05-13
2. 进入“比赛”页面，选择相应的目标检测比赛项目，如“天池物体检测挑战赛”。 3. 下载数据集并进行数据预处理，以符合比赛要求。数据预处理包括数据清洗、数据增强、数据格式转换等。 4. 选择合适的目标检测...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值