PCM+PRCM，改进CAM的新方案

前言

在弱监督语义分割（WSSS）中，CAM有着至关重要的作用，之前博主也在博客中实现过基本的CAM，但是效果有限，而 Complementary Patch for Weakly Supervised Semantic Segmentation这篇文章中提出了一种新的CAM获取方法

也就是把图像分成两个patch组成的图像，然后分别得到CAM最后进行叠加，所得到的效果要优于单张图片的效果。
而本文主体的网络架构如下图所示：

这里输入三组数据，本文主要是实现PCM和PRCM。

PCM与PRCM

pcm在去年的WSSS的文章中已经实现了在本文章架构如下：

其中Y代表CAM，X代表从backbone输出的特征。
在PCM中Y经过两个fc然后，一个进行转置与reshape后的Y相乘，最后得到Ypcm。代码如下：

class PCM(nn.Module):
    # 卷积+ReLU函数
    def __init__(self, C, C2):
        super().__init__()
        self.conv1 = nn.Sequential(
            nn.Conv2d(C, C2, kernel_size=1, padding = 0),
        )
        self.conv2 = nn.Sequential(
            nn.Conv2d(C, C2, kernel_size=1, padding = 0),
        )

    def forward(self, x):
        B,C,H,W = x.size()
        print(B,C,H,W)
        x1 = self.conv1(x) 
        x2 = self.conv2(x) 
        x1 = x1.reshape(B,-1,H*W)
        x2 = x2.reshape(B,H*W,-1)
        att = torch.bmm(x2, x1, out=None)
        x = x.reshape(B,H*W,-1)
        x = torch.bmm(att, x, out=None)
        print(x.size())
        PCM = x.reshape(B,C,H,W)
        return PCM

PRCM相较于PCM较为复杂，并且公式和图片展示较为不同，我们以公式为准吧。

在公式中Z=SoftMax(Y)Xt,所得到的Z和X都要经过一个FC层，最后所得到的Pr经过softmax后与Y相乘，这里就是图中没有表达的。代码如下：

class PRCM(nn.Module):
    # 卷积+ReLU函数
    def __init__(self, C, C1, C2):
        super().__init__()
        self.conv1 = nn.Sequential(
            nn.Conv2d(C1, C2, kernel_size=1, padding = 0),
        )
        self.fc = nn.Linear(C1,C2)
    def forward(self, x, y):
        B,C,H,W = x.size()
        print(B,C,H,W)
        softmax = nn.Softmax(dim = -1)
        y1 = softmax(y.reshape(B,-1,H*W))
        x1 = x.reshape(B,H*W,-1)
        z = torch.bmm(y1, x1, out=None)
        print(z.size())
        x1 = self.conv1(x)
        x1 = x1.reshape(B,-1,H*W)
        print(x1.size())
        z = self.fc(z)
        Pr = torch.bmm(z, x1, out=None)
        print(Pr.size())
        print(y.size())
        softmax = nn.Softmax(dim = -1)
        
        Yprcm = y*softmax(Pr).reshape(B,-1,H,W)
        return Yprcm