dropblock torch

最新推荐文章于 2023-08-17 14:52:36 发布

AI算法网奇

最新推荐文章于 2023-08-17 14:52:36 发布

阅读量3k

点赞数 1

分类专栏： pytorch知识宝典

本文链接：https://blog.csdn.net/jacke121/article/details/105930439

版权

pytorch知识宝典专栏收录该内容

499 篇文章 225 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了DropBlock的PyTorch实现，重点强调了官方推荐的配置：Block_size为7时验证准确率最佳，采用线性下降的Keep_prob调度策略能提升性能。此外，对比实验显示在ResNet-50的第3、4个block同时应用DropBlock比仅在第4个block应用更有效，而且在卷积层和skip connection同时应用Dropout效果更佳。

摘要由CSDN通过智能技术生成

https://github.com/Randl/DropBlock-pytorch/blob/master/DropBlock.py

官方：

Block_size=7时，获得最高验证集准确性

对Keep_prob值进行线性下降方式（scheduling）可以获得更好效果

Resnet-50的第3，4个block加Drouout比只在第4个block加Drouout更有效

在Resnet-50的卷积层和skip connection都使用Drouout效果更好

import torch
import torch.nn.functional as F
from torch import nn


class DropBlock2D(nn.Module):
    r"""Randomly zeroes spatial blocks of the input tensor.
    As described in the paper
    `DropBlock: A regularization method for convolutional networks`_ ,
    dropping whole blocks of feature map allow

了解本专栏