学习笔记32-pytorch代码实现全局协方差池化GCP

已于 2022-10-15 08:39:16 修改
阅读量1.4k 收藏 3
点赞数 2
分类专栏： 算法实战 文章标签： pytorch 深度学习 python
于 2022-10-15 08:34:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LZL2020LZL/article/details/127330707
版权

实现torch协方差矩阵可参考博客

GCP概念
协方差矩阵描述的是一组随机变量两两之间的相关性大小。全局协方差池化的做法，就是通过计算特征图的协方差矩阵(二阶信息)来选出这个能代表特征图数据分布情况的值。
torch.cov()函数可以自行实现协方差矩阵的计算，具体计算过程由下图官方解释。
在这里插入图片描述
根据协方差的计算公式，简单写代码实现GCP，并应用于CNN网络的分类层中。

class CovariancePooling(nn.Module):
    def __init__(self, input_c: int, squeeze_factor: int = 4):  # 输入通道数，超参压缩因子（默认为4）
        super(CovariancePoolin
了解本专栏 订阅专栏 解锁全文 超级会员免费看
李卓璐
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
订阅专栏
MATLAB的var模型代码-MPN-COV:@ICCV2017：为利用二阶统计量，我们建议使用矩阵幂归一化协方差合并（MPN-COV）Con
05-23
MATLAB的var模型代码二阶信息有助于大规模的视觉识别吗？ 由和创建 内容 介绍 该存储库包含在ImageNet 2012数据集上针对以下论文训练的源代码和模型： @article{Li2017, author = {Peihua Li,Jiangtao Xie,Qilong Wang and Wangmeng Zuo}, title = {Is Second-order Information Helpful for Large-scale Visual Recognition?}, journal= {International Conference on Computer Vision (ICCV)}, year = {2017} } 我们提出了二阶合并来代替最后一次转换后的常见一阶最大/平均合并。 层。 提议的网络称为MPN-COV ConvNets，与同类网络相比，已取得了一致，重要的改进。 我们方法的关键是COVariance的矩阵幂归一化， 给定少量的大尺寸特征（又称小样本/大尺寸），就等于鲁棒的协方差估计，这在最新的卷积网络的最后卷积层中很常见； 适当地利用了允许零
基于MPI的并行计算实现Jacobi迭代
12-13
基于MPI的并行计算实现Jacobi迭代
python-pytorch实现CBOW 0.5.000
最新发布
随笔
04-09 444
python-pytorch实现CBOW 0.5.000
torch.nn.Conv2d()函数和channel的理解
热门推荐
weixin_44750371的博客
06-07 1万+
import torch x=torch.randn(2,3,4,5) conv1=nn.Conv2d(3,2,kernel_size=3) out1=cov1(x) print("output1 size: ",out1.shape) conv2=nn.Conv2d(3,2,kernel_size=3,padding=1) out2=cov2(x) print("output2 size: "...
【调参Tricks】WhiteningBERT: An Easy Unsupervised Sentence Embedding Approach
lwgkzl的博客
05-21 419
总述 该文主要介绍了三种使用BERT做Sentence Embedding的小Trick，分别为： 应该使用所有token embedding的average作为句子表示，而非只使用[CLS]对应位置的表示。 在BERT中应该使用多层的句向量叠加，而非只使用最后一层。 在通过余弦相似度做句子相似度判定的时候，可以使用Whitening操作来统一sentence embedding的向量分布，从而可以获得更好的句子表示。 模型 文中介绍的前两点均不涉及到模型，只有第三点Whitening操作可以做简要介绍
Pytorch~多组多元正态分布
whaosoft143ai的博客
01-21 619
torch.matmul 是实现矩阵乘法的函数，但是如果输入的 tensor 是三维的，比如 [B, m, k] 和 [B, k, n]，那么 torch.matmul 的输出结果是会忽略第一个维度，输出 [B, m, n] 的 tensor，利用这个特性，我们就可以在不写 for 循环和额外类实例化的情况下几行实现我朋友的需求。但是这个做法有一个缺点，那就是不够自由，因为每次实例化这个类只能生成一个正态分布的采样，而在我朋友的例子里面，我们需要同时生成 B 个正态分布的 m 组采样。whaosoft ai
全局协方差池化原理及Python实现
cnjs1994的博客
02-08 978
全局协方差池化的tensorflow2版本实现
增量计算海量数据协方差(pytorch)
daniaokuye的专栏
04-29 2558
背景 异常检测中有一类方法是基于统计神经网络中特征的统计，需要计算均值和协方差，新的输入计算与此统计值的马氏距离来表示异常程度。 统计需要样本，样本过多，或者样本分批次进行计算的时候，如何维护这两个统计值就有探究一下的必要了。有博客是将如何计算增量数据下的均值、方差的变化。所以这里只推一下协方差的增量数据下的变化。 协方差的计算 cov(X,Y)=∑i=1n(Xi−X‾)(Yi−Y‾)n−1cov(X,Y)=\sum_{i=1}^n \frac{(X_i- \overline X)(Y_i- \overl
pytorch实现 求协方差、皮尔森相关系数（Pearson product-moment correlation coefficient）
weixin_39417324的博客
12-24 7237
先看下面的皮尔森相关系数计算公式，我也不知道念逊还是念森，反正吧，先看公式，其实就是上边分子求了个协方差，下边是对分母分别求类似标准差的东西(当然，不是标准差，因为标准差还需要除以n的算术平方根)。 当然，上边的介绍和公式并不重要哈，最重要的是怎么用代码直接实现。 协方差： 皮尔森系数 协方差实现： import torch x=torch.randn([2,10]) #这是2*10的矩阵，x[0]就是公式中的x，x[1]就是公式中的y print(torch.cov(x)) #最后打印出的是2*2的矩
小白学Pytorch系列--Torch API (9)
发呆的比目鱼的博客
03-19 569
小白学Pytorch系列--Torch API (9)
python协方差矩阵_协方差矩阵的python实现
weixin_39611275的博客
12-13 5315
学过概率统计的孩子都知道，统计里最基本的概念就是样本的均值，方差，或者再加个标准差。首先我们给你一个含有n个样本的集合，依次给出这些概念的公式描述，这些高中学过数学的孩子都应该知道吧，一带而过。 很显然，均值描述的是样本集合的中间点，它告诉我们的信息是很有限的，而标准差给我们描述的则是样本集合的各个样本点到均值的距离之平均。以这两个集合为例，[0，8，12，20]和[8，9，11，12]，两个集合...
动手学深度学习-pytorch-源代码
04-14
动手学深度学习-pytorch-源代码
SRGAN-PyTorch：超分辨率纸的简单而完整的实现
02-26
该存储库包含对进行的逐点PyTorch重新实现。 目录 关于使用生成对抗网络的逼真的单图像超分辨率 如果您不熟悉SRGAN，请直接从本文中摘录以下内容： 尽管使用更快，更深的卷积神经网络在单图像超分辨率的准确性和...
去噪代码matlab-DnCNN-pytorch:基于pytorch的DnCNN实现
05-27
去噪声代码matlab DnCNN-火炬 基于pytorch的工具 运行此代码 具有依赖项的Python3：scipy，numpy，scikit-image，PIL，h5py，pytorch> = 0.4 生成训练数据 'generate_data.py'。 您可能需要修改训练数据集的路径。 ...
FixMatch-pytorch:“ FixMatch”的非官方Pytorch代码
03-19
FixMatch-pytorch 非官方pytorch代码 NeurIPS'20。此实现可以重现结果（CIFAR10和CIFAR100），这些结果已在本文中进行了报告。此外，它还包括具有半监督和完全监督方式的训练模型（请在下面的链接中下载）。要求...
KGCN-pytorch:KGCN pytorch模型实现
05-11
这是 （ ）的Pytorch实现： 推荐系统的知识图卷积网络王宏伟，赵M，谢星，李文杰，郭敏仪。 在2019年网络会议论文集（WWW 2019）中 数据集 电影 电影的原始分级文件太大，无法包含在此仓库中。 首先对评级数据进行...
协方差矩阵在torch和numpy中的比较，自行实现torch协方差矩阵
Yonggie的博客
05-13 3487
前言 数学中（教科书、大学课堂、数学相关的科普视频），一个矩阵的向量往往是竖着的，一列作为一个vector，这一点numpy库也是这样默认的。 但是在机器学习以torch框架为例，一个有意义的向量或者说embedding是横着的。 比较 因为numpy库默认是一列是一个向量而torch等机器学习框架默认一行是一个向量，所以 torch.cov(X)和numpy.cov(X.T)是相等的。 自行实现 torch在较高版本中才有torch.cov函数，低版本的需要自行实现。 因为大部分博客都是数学风格的，在减掉
小土堆Pytorch学习笔记（九、卷积操作和卷积层）
Holy_cow的博客
08-01 127
由以下输入图像和卷积核做卷积操作再由cov2d的参数规定：输入有四个参数，而运行结果显示只有两个（只有高和宽），所以得改成四维，采用torch.reshape( )
卷积操作Conv2d详细解释以及案例
weixin_47604030的博客
01-22 4856
import torch x = torch.randn(2,1,3,2) （2张图片,通道数1单色，高3，宽2） conv = torch.nn.Conv2d(1,8,(2,3)) 输入通道数1，和上面x数据保持一致 输出的通道 8，也就是核的个数，决定了输出数据的通道数，也可以理解为有8个核处理了图片输出8个矩阵。 y=conv(x) #用卷积处理x返回y y的shape为(2,8,?,?) #还是2张,8通道,高,宽 下面是源代码可以测试： #2d中...
pytorch实现特征图全局平均池化增强
06-10
特征图全局平均池化增强可以通过以下步骤来实现： 1. 首先，我们需要定义一个新的模型类，该类继承自PyTorch中的nn.Module类。我们称该类为“GlobalAvgPool2d”。 ```python import torch.nn as nn class GlobalAvgPool2d(nn.Module): def __init__(self): super(GlobalAvgPool2d, self).__init__() def forward(self, x): return nn.functional.adaptive_avg_pool2d(x, (1, 1)).view(x.size(0), -1) ``` 2. 接下来，在需要使用全局平均池化的模型中，我们可以使用这个新的模块类，将其插入到需要进行全局平均池化的位置。 ```python import torch.nn as nn class MyModel(nn.Module): def __init__(self): super(MyModel, self).__init__() self.conv1 = nn.Conv2d(3, 64, kernel_size=3, stride=1, padding=1) self.bn1 = nn.BatchNorm2d(64) self.relu = nn.ReLU(inplace=True) self.avgpool = nn.AdaptiveAvgPool2d((1, 1)) self.global_avgpool = GlobalAvgPool2d() # 新的全局平均池化模块 self.fc = nn.Linear(64 * 2, 10) def forward(self, x): x = self.conv1(x) x = self.bn1(x) x = self.relu(x) x = self.avgpool(x) x = self.global_avgpool(x) # 使用新的全局平均池化模块 x = x.view(x.size(0), -1) x = self.fc(x) return x ``` 在这个模型中，我们用了两个不同的池化层：一个是nn.AdaptiveAvgPool2d，用于对特征图进行常规的平均池化操作，另一个是我们刚刚定义的GlobalAvgPool2d，用于全局平均池化操作。这样，我们就可以在模型中使用全局平均池化了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值