baseline

最新推荐文章于 2023-08-17 23:13:02 发布
最新推荐文章于 2023-08-17 23:13:02 发布
阅读量713 收藏
点赞数
分类专栏： 深度学习 文章标签： 深度学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Wood_Du/article/details/105015489
版权

服务器：

驱动验证

nvidia-smi

在这里插入图片描述
//截图快捷键 shift+ctrl+print 到粘贴板

cuda 验证

cd  /usr/local/cuda-10.0/samples/1_Utilities/deviceQuery
sudo make
./deviceQuery

若有result=PASS，则CUDA安装成功。
在这里插入图片描述

NCCL 验证

未验证

anaconda 配置

。。。。

conda 创建一个虚拟环境

。。。。

在虚拟环境中配置Pytorch

安装pytorch及torchvision
安装mmcv
安装mmdetection
测试test.py

利用mmedetection 训练自己的VirDrone数据集

VirDrone数据集转成coco格式
上传服务器训练数据集
cascade_rcnn_r50_fpn_1x.py配置文件
# model settings
model = dict(
    type='CascadeRCNN',									# model类型
    num_stages=3,													#RCNN网络的stage数量，在faster-RCNN中为1
    pretrained='torchvision://resnet50',		#预训练模型：imagenet-resnet50
    backbone=dict(
        type='ResNet',												#backbone类型
        depth=50,														# 网络层数
        num_stages=4,												# resnet的stage数量
        out_indices=(0, 1, 2, 3),							# 输出的stage的序号
        frozen_stages=1,											# 冻结的stage数量，即该stage不更新参数，-1表示所有的stage都更新参数
        norm_cfg=dict(type='BN', requires_grad=True),			#
        style='pytorch'),											 # 网络风格：如果设置pytorch，则stride为2的层是conv3x3的卷积层；如果设置caffe，则stride为2的层是第一个conv1x1的卷积层
    neck=dict(															
        type='FPN',													  # neck类型
        in_channels=[256, 512, 1024, 2048],		# 输入的各个stage的通道数
        out_channels=256,										 # 输出的特征层的通道数
        num_outs=5),													 # 输出的特征层的数量	
    rpn_head=dict(
        type='RPNHead',												 # RPN网络类型
        in_channels=256,											 # RPN网络的输入通道数
        feat_channels=256,										 # 特征层的通道数
        anchor_scales=[8],											 # 生成的anchor的baselen，baselen = sqrt(w*h)，w和h为anchor的宽和高
        anchor_ratios=[0.5, 1.0, 2.0],						 # anchor的宽高比
        anchor_strides=[4, 8, 16, 32, 64],               # 在每个特征层上的anchor的步长（对应于原图）
        target_means=[.0, .0, .0, .0],						  # 均值
        target_stds=[1.0, 1.0, 1.0, 1.0],					  # 方差
        loss_cls=dict(
            type='CrossEntropyLoss', use_sigmoid=True, loss_weight=1.0),
        loss_bbox=dict(type='SmoothL1Loss', beta=1.0 / 9.0, loss_weight=1.0)),
    bbox_roi_extractor=dict(
        type='SingleRoIExtractor',								# RoIExtractor类型
        roi_layer=dict(type='RoIAlign', out_size=7, sample_num=2),	## ROI具体参数：ROI类型为ROIalign，输出尺寸为7，sample数为2
        out_channels=256,											# 输出通道数
        featmap_strides=[4, 8, 16, 32]),					 # 特征图的步长	
    bbox_head=[
        dict(
            type='SharedFCBBoxHead',						 # 全连接层类型
            num_fcs=2,													   	# 全连接层数量
            in_channels=256,											# 输入通道数
            fc_out_channels=1024,							    # 输出通道数
            roi_feat_size=7,											    # ROI特征层尺寸
            num_classes=81,											 # 分类器的类别数量+1，+1是因为多了一个背景的类别
            target_means=[0., 0., 0., 0.], 						 # 均值
            target_stds=[0.1, 0.1, 0.2, 0.2],					  # 方差
            reg_class_agnostic=True,							# 是否采用class_agnostic的方式来预测，class_agnostic表示输出bbox时只考虑其是否为前景，后续分类的时候再根据该bbox在网络中的类别得分来分类，也就是说一个框可以对应多个类别
            loss_cls=dict(
                type='CrossEntropyLoss', use_sigmoid=False, loss_weight=1.0),
            loss_bbox=dict(type='SmoothL1Loss', beta=1.0, loss_weight=1.0)),
        dict(
            type='SharedFCBBoxHead',
            num_fcs=2,
            in_channels=256,
            fc_out_channels=1024,
            roi_feat_size=7,
            num_classes=81,
            target_means=[0., 0., 0., 0.],
            target_stds=[0.05, 0.05, 0.1, 0.1],
            reg_class_agnostic=True,
            loss_cls=dict(
                type='CrossEntropyLoss', use_sigmoid=False, loss_weight=1.0),
            loss_bbox=dict(type='SmoothL1Loss', beta=1.0, loss_weight=1.0)),
        dict(
            type='SharedFCBBoxHead',
            num_fcs=2,
            in_channels=256,
            fc_out_channels=1024,
            roi_feat_size=7,
            num_classes=81,
            target_means=[0., 0., 0., 0.],
            target_stds=[0.033, 0.033, 0.067, 0.067],
            reg_class_agnostic=True,
            loss_cls=dict(
                type='CrossEntropyLoss', use_sigmoid=False, loss_weight=1.0),
            loss_bbox=dict(type='SmoothL1Loss', beta=1.0, loss_weight=1.0))
    ])
# model training and testing settings
train_cfg = dict(
    rpn=dict(
        assigner=dict(
            type='MaxIoUAssigner',										# RPN网络的正负样本划分
            pos_iou_thr=0.7,														 # 正样本的iou阈值
            neg_iou_thr=0.3,														 # 负样本的iou阈值
            min_pos_iou=0.3,													# 正样本的iou最小值。如果assign给ground truth的anchors中最大的IOU低于0.3，则忽略所有的anchors，否则保留最大IOU的anchor
            ignore_iof_thr=-1),													  # 忽略bbox的阈值，当ground truth中包含需要忽略的bbox时使用，-1表示不忽略
        sampler=dict(
            type='RandomSampler',										 # 正负样本提取器类型
            num=256,															   		# 需提取的正负样本数量
            pos_fraction=0.5,													# 正样本比例					
            neg_pos_ub=-1,														# 最大负样本比例，大于该比例的负样本忽略，-1表示不忽略
            add_gt_as_proposals=False),							# 把ground truth加入proposal作为正样本
        allowed_border=0,														# 允许在bbox周围外扩一定的像素
        pos_weight=-1,															# 正样本权重，-1表示不改变原始的权重				
        debug=False),																 # debug模式
    rpn_proposal=dict(
        nms_across_levels=False,
        nms_pre=2000,
        nms_post=2000,
        max_num=2000,
        nms_thr=0.7,
        min_bbox_size=0),
    rcnn=[																					# 注意，这里有3个RCNN的模块，对应开头的那个RCNN的stage数量
        dict(
            assigner=dict(
                type='MaxIoUAssigner',									# RCNN网络正负样本划分
                pos_iou_thr=0.5,													# 正样本的iou阈值
                neg_iou_thr=0.5,													# 负样本的iou阈值
                min_pos_iou=0.5,												# 正样本的iou最小值。如果assign给ground truth的anchors中最大的IOU低于0.5，则忽略所有的anchors，否则保留最大IOU的anchor
                ignore_iof_thr=-1),												# 忽略bbox的阈值，当ground truth中包含需要忽略的bbox时使用，-1表示不忽略
            sampler=dict(
                type='RandomSampler',									# 正负样本提取器类型
                num=512,																# 需提取的正负样本数量
                pos_fraction=0.25,												# 正样本比例
                neg_pos_ub=-1,													# 最大负样本比例，大于该比例的负样本忽略，-1表示不忽略
                add_gt_as_proposals=True),						# 把ground truth加入proposal作为正样本
            pos_weight=-1,														# 正样本权重，-1表示不改变原始的权重
            debug=False),															 # debug模式
        dict(
            assigner=dict(
                type='MaxIoUAssigner',
                pos_iou_thr=0.6,
                neg_iou_thr=0.6,
                min_pos_iou=0.6,
                ignore_iof_thr=-1),
            sampler=dict(
                type='RandomSampler',
                num=512,
                pos_fraction=0.25,
                neg_pos_ub=-1,
                add_gt_as_proposals=True),
            pos_weight=-1,
            debug=False),
        dict(
            assigner=dict(
                type='MaxIoUAssigner',
                pos_iou_thr=0.7,
                neg_iou_thr=0.7,
                min_pos_iou=0.7,
                ignore_iof_thr=-1),
            sampler=dict(
                type='RandomSampler',
                num=512,
                pos_fraction=0.25,
                neg_pos_ub=-1,
                add_gt_as_proposals=True),
            pos_weight=-1,
            debug=False)
    ],
    stage_loss_weights=[1, 0.5, 0.25])									# 3个RCNN的stage的loss权重
test_cfg = dict(
    rpn=dict(																						# 推断时的RPN参数
        nms_across_levels=False,												# 推断时的RPN参数
        nms_pre=1000,																	# 在nms之前保留的的得分最高的proposal数量
        nms_post=1000,																	# 在nms之后保留的的得分最高的proposal数量
        max_num=1000,																	# 在后处理完成之后保留的proposal数量
        nms_thr=0.7,																			 # nms阈值
        min_bbox_size=0),																# 最小bbox尺寸
    rcnn=dict(
        score_thr=0.05, nms=dict(type='nms', iou_thr=0.5), max_per_img=100))    # max_per_img表示最终输出的det bbox数量
# dataset settings
dataset_type = 'CocoDataset'												 # 数据集类型
data_root = 'data/coco/'															# 数据集根目录
img_norm_cfg = dict(
    mean=[123.675, 116.28, 103.53], std=[58.395, 57.12, 57.375], to_rgb=True)			# 输入图像初始化，减去均值mean并处以方差std，to_rgb表示将bgr转为rgb
train_pipeline = [
    dict(type='LoadImageFromFile'),
    dict(type='LoadAnnotations', with_bbox=True),
    dict(type='Resize', img_scale=(1333, 800), keep_ratio=True),		# 输入图像尺寸，最大边1333，最小边800
    dict(type='RandomFlip', flip_ratio=0.5),													# 图像的随机左右翻转的概率
    dict(type='Normalize', **img_norm_cfg),												# 图像初始化参数
    dict(type='Pad', size_divisor=32),																# 对图像进行resize时的最小单位，32表示所有的图像都会被resize成32的倍数
    dict(type='DefaultFormatBundle'),
    dict(type='Collect', keys=['img', 'gt_bboxes', 'gt_labels']),
]
test_pipeline = [
    dict(type='LoadImageFromFile'),
    dict(
        type='MultiScaleFlipAug',
        img_scale=(1333, 800),
        flip=False,
        transforms=[
            dict(type='Resize', keep_ratio=True),
            dict(type='RandomFlip'),
            dict(type='Normalize', **img_norm_cfg),
            dict(type='Pad', size_divisor=32),
            dict(type='ImageToTensor', keys=['img']),
            dict(type='Collect', keys=['img']),
        ])
]
data = dict(
    imgs_per_gpu=2,											# 每个gpu计算的图像数量
    workers_per_gpu=2,										# 每个gpu分配的线程数
    train=dict(
        type=dataset_type,									# 数据集类型
        ann_file=data_root + 'annotations/instances_train2017.json',			 # 数据集annotation路径
        img_prefix=data_root + 'train2017/',																# 数据集的图片路径
        pipeline=train_pipeline),
    val=dict(
        type=dataset_type,
        ann_file=data_root + 'annotations/instances_val2017.json',
        img_prefix=data_root + 'val2017/',
        pipeline=test_pipeline),
    test=dict(
        type=dataset_type,
        ann_file=data_root + 'annotations/instances_val2017.json',
        img_prefix=data_root + 'val2017/',
        pipeline=test_pipeline))
evaluation = dict(interval=1, metric='bbox')
# optimizer
optimizer = dict(type='SGD', lr=0.02, momentum=0.9, weight_decay=0.0001) 		# 优化参数，lr为学习率，momentum为动量因子，weight_decay为权重衰减因子
optimizer_config = dict(grad_clip=dict(max_norm=35, norm_type=2))					# 梯度均衡参数
# learning policy
lr_config = dict(
    policy='step',																	# 优化策略
    warmup='linear',																# 初始的学习率增加的策略，linear为线性增加
    warmup_iters=500,														# 在初始的500次迭代中学习率逐渐增加
    warmup_ratio=1.0 / 3,													 # 起始的学习率
    step=[8, 11])																		 # 在第8和11个epoch时降低学习率
checkpoint_config = dict(interval=1)							# 每1个epoch存储一次模
# yapf:disable
log_config = dict(
    interval=50,																		 # 每50个batch输出一次信息
    hooks=[
        dict(type='TextLoggerHook'),						 		# 控制台输出信息的风格
        # dict(type='TensorboardLoggerHook')
    ])
# yapf:enable
# runtime settings
total_epochs = 12																			# 最大epoch数
dist_params = dict(backend='nccl')										# 分布式参数
log_level = 'INFO'																			# 输出信息的完整度级别
work_dir = './work_dirs/cascade_rcnn_r50_fpn_1x'		# log文件和模型文件存储路径
load_from = None																			 # 加载模型的路径，None表示从预训练模型加载
resume_from = None																	# 恢复训练模型的路径
workflow = [('train', 1)]																	 # 当前工作区名称

baseline

baseline1
在这里插入图片描述

 WARNING - The model and loaded state dict do not match exactly

unexpected key in source state_dict: fc.weight, fc.bias
Wood_Du
关注
专栏目录
mmdection kick记录1 整体流程
dataastron的博客
01-05 487
本文记录mmdection的使用 github clone git clone open-mmlab/mmdetection 官方文档https://mmdetection.readthedocs.io/en/latest/MODEL_ZOO.html 然后在configs目录下拷贝下面的配置，coco文件也要配置下哦 !python to...
Android文字基线Baseline算法的使用讲解
08-26
本文主要探讨的是Android中的文字基线（Baseline）算法及其在实际应用中的使用方法。 首先，Baseline是绘制文字时的一个关键概念，它是衡量文字在垂直方向上的定位基准线。在Canvas上绘制文字时，必须明确文字的...
mmdetection的configs中的各项参数具体解释
热门推荐
hajlyx的博客
01-07 5万+
简介 在使用mmdetection对模型进行调优的过程中总会遇到很多参数的问题，不知道参数在代码中是什么作用，会对训练产生怎样的影响，这里我以faster_rcnn_r50_fpn_1x.py和cascade_rcnn_r50_fpn_1x.py为例，简单介绍一下mmdetection中的各项参数含义 faster_rcnn_r50_fpn_1x.py 首先介绍一下这个配置文件所描述的框架，它是基...
MMdetection2.17版本配置文件全面解读、自定义backbone及多尺度训练
认真努力，做一只会飞的毛毛虫。
10-21 3887
配置文件结构 在 config/_base _ 文件夹下有 4 个基本组件类型，分别是：数据集(dataset)，模型(model)，训练策略(schedule)和运行时的默认设置(default runtime)。许多方法，例如 Faster R-CNN、Mask R-CNN、Cascade R-CNN、RPN、SSD 能够很容易地构建出来。由 _base _ 下的组件组成的配置，被我们称为 原始配置(primitive)。 对于同一文件夹下的所有配置，推荐只有一个对应的原始配置文件。所有其他的配
【mmdetection】参数解析
mjiansun的专栏
06-19 8358
图片输入大小解析 1.单尺度输入： train_pipeline = [ ...... dict( type='Resize', img_scale=(1333, 800), keep_ratio=True), ...... dict(type='Pad', size_divisor=32), ] 实际输入缩放计算方式： max_long_edge = max(img_scale) max_short_edge =
mmdetection常用参数
sunlanchang的博客
12-02 2058
有关训练模型的具体配置比如backbone选取，anchor参数配置，训练/验证，数据集，optimizer参数，迭代次数等等，都可以在configs/*.py文件中进行配置修改。train.py文件中还包括一些其他输入参数选项： work_dir 是模型checkpoint文件的输出目录，可以在configs/*.py中配置； resume_from 是指定在某个checkpoint的基础上继...
graspnet-baseline
03-21
致谢 该代码的主要部分是从克隆的，并将其应用于了我的项目。...cd graspnet-baseline 通过Pip安装软件包。 pip install -r requirements.txt 编译并安装pointnet2运算符（代码从改编而成）。 cd pointnet2 python
阿里天池算法_新浪微博互动预测-挑战baseline,天池新浪微博预测
06-05
【阿里天池算法_新浪微博互动预测-挑战baseline,天池新浪微博预测】 阿里巴巴的天池平台是全球领先的数据科学竞赛平台，旨在推动数据科学的发展和应用。在这个平台上，开发者和数据科学家可以通过解决实际业务问题...
baseline.rar
06-01
《自然语言处理中的预训练模型：Baseline及其应用》 在当今的自然语言处理（NLP）领域，预训练模型已经成为解决各种任务的核心技术。本文将深入探讨“baseline.rar”压缩包中的预训练模型，该模型在相关任务上的...
Person_reID_baseline_pytorch-master.zip_Person Re-ID:_PyTorch行人识
09-20
项目中的"Person_reID_baseline_pytorch-master"可能包含以下关键组件： 1. 数据处理模块：用于加载数据集、预处理图像（如尺寸标准化、颜色归一化等）以及构建数据加载器。 2. 模型定义：包含具体的网络结构，如...
pytorch如何冻结某层参数的实现
09-18
主要介绍了pytorch如何冻结某层参数的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
drone无人机数据集，用于目标检测和跟踪drone-AI_make.zip
11-12
drone无人机数据集，用于目标检测和跟踪，3300多张，目标包含大中小各种尺度的无人机，类别名drone，标签格式为txt,和xml两种，可直接用于YOLO目标检测和deepsort 目标跟踪等等
mmdetection安装，训练，参数意义，bug
qq_35985044的博客
09-16 711
下载地址：https://github.com/open-mmlab/mmdetection 下载好后可以使用pip安装mmcv pip install mmcv-full==latest+torch1.5.0+cu101 -f http://download.openmmlab.com/mmcv/dist/index.html 但是pip可能较慢，可以直接从源码上安装: git clone https://github.com/open-mmlab/mmcv.git cd mmcv MMCV_
mmdetection2.17运行关键参数设置
认真努力，做一只会飞的毛毛虫。
10-27 2523
自定义优化设置 自定义pytorch支持的优化器：mmdetection官方已经支持使用PyTorch实现的所有优化器，唯一的修改是更改配置文件的优化器字段。例如，如果想使用ADAM（性能可能会下降很多），修改如下： optimizer = dict(type='Adam', lr=0.0003, weight_decay=0.0001) 要修改模型的学习率，只需在optimizer的配置中修改lr。 自定义训练时间表 在默认情况下，mmd官方在1x schedule中使用步进学习率，也叫做St
玩转MMDetection-MMDetection中的模型框架文件及参数解读（一）
左右-HPU
04-10 2740
该文主要介绍完整的MMDetection包含的配置文件中的模型文件--model.py以下代码详细逐行解读了模型文件包含的代码含义及使用。
mmdetection冻结网络参数训练
Abo_luo的博客
04-14 4986
MMdetection针对模型backbone进行冻结参数训练问题问题解决可能存在问题总结 问题 原以为MMdetection针对模型backbone处进行参数冻结训练网上会有大量的教程，刚刚网上查了一下没找到，于是自己动手去发现 解决 以YOLOX模型为例，调用CSPDarknet时，定义了_freeze_stage方法，并在train方法中调用。self.frozen_stages默认为-1，即不会对模型进行参数冻结， 1、可以在定义CspDarknet类时，构造函数__init__中fro
MMDetection2（一）：学习配置文件
foolishpeng的博客
11-20 5931
一、配置文件结构 在config/_base_文件夹下面总共有4个基础的组件，它们分别是：dataset、model、schedule、default_runtime。 许多的方法都可以被这些基础组件轻松的构造，我们将由_base_中的组件构成的配置称之为primitive。 为了方便于理解，我们推荐构造者去继承已有的方法，例如，如果你想要去基于Faster-RCNN做一些更改，你首先需要在你的配置文件中去继承Faster-RCNN的基础结构（加入_base_=../faster_rcnn...
深度学习训练时冻结部分参数的方法
shaojie_45的博客
11-04 3357
在使用mmdetection代码库时需要冻结部分网络参数，只训练一部分的网络。这里提供一种简单且不容易出现bug的方法，不仅仅适用于mmdetection代码库，也可以使用在其他的代码库里面，不过需要一定的改动。
mmlab之模型冻结训练
最新发布
始于足下
08-17 520
在深度学习任务中，有时我们需要在岩有任务基础上对模型进行微调，这需要对网络的主干进行冻结,我在阅读帮助文档时发现，mmlab部分主干网络可以支持参数实现主干网络的冻结。目前网络应该只支持主干网络进行冻结。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值