在PyTorch中实现DropBlock

本文的交互式版本可以在这里找到:https://github.com/FrancescoSaverioZuppichini/DropBlock

DropBlock在我的计算机视觉库上可用:https://github.com/FrancescoSaverioZuppichini/glasses

介绍

今天我们将在PyTorch中实现DropBlock！

Ghiasi等人介绍的DropBlock是一种针对图像的正则化技术，在经验上比Dropout效果更好。为什么Dropout是不够的？

图像上的Dropout问题

Dropout是一种正则化技术，它在将输入传递到下一层之前，随机删除（设置为零）部分输入。

如果你不熟悉它，我推荐斯坦福德的这些课堂讲稿（跳到Dropout部分）。

https://cs231n.github.io/neural-networks-2/

如果我们想在PyTorch中使用它，我们可以直接从库中导入它。让我们看一个例子！

import torch
import matplotlib.pyplot as plt
from torch import nn

# 保持一个通道以便更好地可视化
x = torch.ones((1, 1, 16, 16))

drop = nn.Dropout()
x_drop = drop(x)

to_plot = lambda x: x.squeeze(0).permute(1,2,0).numpy()

fig, axs = plt.subplots(1, 2)
axs[0].imshow(to_plot(x), cmap='gray')
axs[1].imshow(to_plot(x_drop), cmap='gray')

如你所见，输入的随机像素被删除！

这种技术在一维数据上效果很好，但在二维数据上，我们可以做得更好。

主要问题是，我们正在删除独立像素，而这在删除语义信息方面并不有效，因为邻居包含密切相关的信息。即使我们将一个元素归零，从邻居那里仍然可以获取重要信息。

让我们探讨一下特征图会发生什么。

在下面的代码中，我们首先获取图像，然后使用glasses创建预训练的resnet18(https://github.com/FrancescoSaverioZuppichini/glasses)。然后我们将图像输入，从第二层得到特征图。最后，我们展示了第一个通道的在有dropout和无dropout的激活情况

import requests
from glasses.models import AutoModel, AutoTransform
from PIL import Image
from io import BytesIO