论文阅读笔记之——《Compact Bilinear Pooling》

最新推荐文章于 2024-05-26 09:59:49 发布
最新推荐文章于 2024-05-26 09:59:49 发布
阅读量3.2k 收藏 5
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gwplovekimi/article/details/95331369
版权

感觉跟之前看过的论文《实验笔记之——《Multi-scale Location-aware Kernel Representation for Object Detection》复现》很类似，通过kernel的近似来实现高维特征的提取

虽然bilinear 模型取得较好的performance，但是它的成本高（运算量、存储量）。为此作者提出一种紧凑型的bilinear model

Our proposed compact bilinear methods rely on the existence （存在） of low dimensional feature maps for kernel functions.

 

 

下面公式给出了bilinear pooling属于二阶的证明，但作者最终也仅仅说，二阶kernel的机制可以提升性能。跟大多数的高阶特征的paper一样。没有办法给出为什么高阶特征可以提升performance。所以对于高阶特征这个问题，一直都认为可解释性差。但从另外一个角度来说，高阶特征，特征的阶数越高，求梯度时，可以保留的信息越多？

作者通过kernel近似来实现降维

 

 

 

 

 

 

 

 

 

 

gwpscut
关注
专栏目录
论文笔记: (compact) Bilinear Pooling, Confusion
Wayne2019的博客
11-04 1万+
Learn by attention, learn with confusion.先引用几段魏秀参大神的论述「见微知著」——细粒度图像分析进展综述 细粒度物体的差异仅体现在细微之处。如何有效地对前景对象进行检测，并从中发现重要的局部区域信息，成为了细粒度图像分类算法要解决的关键问题。对细粒度分类模型，可以按照其使用的监督信息的多少，分为“基于强监督信息的分类模型”和“基于弱监督信息的分类模型”两
【多模态论文阅读】Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual
qq_36643449的博客
03-03 2775
一、亮点 在融合文本和视觉两种模态的时候，通常使用concatenation的方法或者element-wise 乘积or求和，但是我们认为这些方法不如两个向量之间的外积那样具有表现力。与元素积相比，外积计算的是两个向量的所有元素之间的乘法交互。然而由于外积的高维性，通常是不可行的，所以本文提出用多么太紧凑双线性池化(MCB)来高效地表达多模态特征。 并且本文的还有一个亮点在于，对于VQA任务，使用两次MCB——一次用于预测对于空间特征的attention，另一次用于融合文本特征和视觉特征。 通过将图像和文本
[2016-CVPR].Compact Bilinear Pooling.（压缩双线性池化）.v21
08-03
Yang Gao1, Oscar Beijbom1, Ning Zhang2∗, Trevor Darrell1 †Bilinear models has be
compact bilinear pooling(tensorflow版本)
08-23
compact bilinear pooling(tensorflow版本)，可用于细粒度分类，特征融合
(compact) Bilinear Pooling, Confusion
心之所向
12-27 1100
来源 Learn by attention, learn with confusion. 先引用几段魏秀参大神的论述「见微知著」——细粒度图像分析进展综述  细粒度物体的差异仅体现在细微之处。如何有效地对前景对象进行检测，并从中发现重要的局部区域信息，成为了细粒度图像分类算法要解决的关键问题。对细粒度分类模型，可以按照其使用的监督信息的多少，分为“基于强监督信息的分类模型”和“基于弱监督信息...
CompactBilinearPooling-Pytorch:紧凑型双线性池的Pytorch实现
05-02
CompactBilinearPooling-Pytorch 紧凑型双线性池的Pytorch实现。 改编自 先决条件 通过安装 pip install pytorch_fft 用法 from torch import nn from torch . autograd import Variable from CompactBilinearPooling import CompactBilinearPooling bottom1 = Variable ( torch . randn ( 128 , 512 , 14 , 14 )). cuda () bottom2 = Variable ( torch . randn ( 128 , 512 , 14 , 14 )). cuda () layer = CompactBilinearPooling ( 512 , 512 , 8000 )
Multimodal Compact Bilinear Pooling（MCB）多模态紧凑双线性池
薄荷糖
01-16 2533
出自：Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual Grounding 分别提取对应模态的特征：对图片利用pre-train的CNN提取图片高层特征，对于文本则提取word-embeding,并通过lstm解码后的特征；　　 利用上个步骤得到的两个模态特征，分别利用Count Sketch方法进行逼近(降维)，得到降维之后的特征； 将上述得到的特征分别进行FFT，将其变换至频域，并在频域作向
VQA 之 Multimodal Compact Bilinear Pooling
bea_tree的博客
06-08 8206
涉及论文 [1]Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual Grounding https://www.arxiv.org/pdf/1606.01847.pdf [2]Compact Bilinear Pooling https://arxiv.org/pdf/151
论文笔记: Compact Bilinear Pooling
zdcs的专栏
02-06 5386
Compact Bilinear Pooling Yang Gao1, Oscar Beijbom1, Ning Zhang2∗, Trevor Darrell1 † 1EECS, UC Berkeley 2Snapchat Inc. {yg, obeijbom, trevor}@eecs.berkeley.edu {ning.zhang}@snapchat.com arXiv:1511.06
bilinear pooling
weixin_30616969的博客
04-25 228
一、双线性汇合的计算过程： 第一步，计算Gram 矩阵： 对于一组H×W×D的feature maps，$\boldsymbol{x}_{i} \in \mathbb{R}^{D}$是图像的深度描述，其中$1 \leq i \leq H W$。双线性汇合双线性汇合是计算深度描述向量的格拉姆矩阵（Gram matrix），其中$\boldsymbol{G} \in \mathbb{R}...
双线性池化（Bilinear Pooling）
专业主义
06-28 3243
bilinear pooling主要用于特征融合，对于从同一个样本提取出来的特征x和特征y，通过bilinear pooling得到两个特征融合后的向量，进而用来分类。如果特征x和特征y来自两个特征提取器，则被称为多模双线性池化（MBP，Multimodal Bilinear Pooling）； 如果特征x=特征y，则被称为同源双线性池化（HBP，Homogeneous Bilinear Pooling）或者二阶池化（Second-order Pooling）。原始的Bilinear Pooling存在融合
双线性池化（bilinear pooling）
weixin_43899249的博客
04-27 613
双线性池化（bilinear pooling）简介公式通俗的说法如果理解有误请指出 简介 bilinear pooling在2015年于《Bilinear CNN Models for Fine-grained Visual Recognition》被提出来用于fine-grained分类后，又引发了一波关注。bilinear pooling主要用于特征融合，对于从同一个样本提取出来的特征x和特征 y ，通过bilinear pooling得到两个特征融合后的向量，进而用来分类。 如果特征x和特征y来自两
【笔记】双线性池化（Bilinear Pooling）详解、改进及应用
zenRRan的博客
02-09 8144
点击上方，选择星标或置顶，每天给你送干货！阅读大概需要16分钟跟随小博主，每天进步一丢丢来自| 知乎作者丨林小北来源丨https://zhuanlan.zhihu.com/p/6253...
推荐使用：PyTorch中的Compact Bilinear Pooling库
最新发布
gitblog_00090的博客
05-26 378
推荐使用：PyTorch中的Compact Bilinear Pooling库 pytorch_compact_bilinear_poolingCompact Bilinear Pooling for PyTorch项目地址:https://gitcode.com/gh_mirrors/py/pytorch_compact_bilinear_pooling 1、项目介绍 在深度学习领域，有效的特...
双线性池化【BiLinear Pooling】
hei_hei_hei_的博客
05-12 1125
1. 简介 bilinear pooling主要用于特征融合，对于从同一个样本中提取出来的特征x和y，通过bilinear pooling操作可以得到x和y融合后的特征（本质是向量相乘） ps：如果x和y来自两个特征提取器，则被称为多磨双线性池化（MBP）;若x=y，则被称为同源双线性池化（HBP）或二阶池化（Second-order Pooling） 2. 计算过程 对于图像III在位置lll上的两个特征向量fA(l,I)∈RT×Mf_A(l,I)∈R^{T×M}fA​(l,I)∈RT×M和fB(l,I)
双线性池化（Bilinear Pooling）详解、改进及应用
weixin_42455006的博客
03-30 6102
双线性池化的汇总解释
双线性池化 bilinear pooling
小幸运
07-14 8513
bilinear pooling主要用于特征融合，对于从同一个样本提取出来的特征x和特征y，通过bilinear pooling得到两个特征融合后的向量，进而用来分类。 如果特征x和特征y来自两个特征提取器，则被称为多模双线性池化（MBP，Multimodal Bilinear Pooling） 如果特征x=特征y，则被称为同源双线性池化（HBP，Homogeneous Bilinear Pooling）或者二阶池化（Second-order Pooling） bilinear pooling详.
FGVC---Bilinear Pooling (双线性池化)及其发展
xys430381_1的专栏
04-23 5669
这里写目录标题基本的Bilinear CNN降低维度Compact Bilinear Pooling-CVPR2016Low-rank Bilinear Pooling for Fine-Grained Classification-CVPR2017跨层双线性池化Hierarchical Bilinear Pooling for Fine-Grained Visual Recognition-EC...
双线性池化(Bilinear Pooling)与二阶池化(Second-order pooling)
lipengfei0427的博客
11-08 5805
双线性池化(Bilinear Pooling) 双线性池化，Bilinear Pooling出自于论文《Bilinear CNN Models for Fine-grained Visual Recognition》。双线性的意思是包含两个特征提取器，其输出经过外积相乘、池化然后得到结果。其主要用于特征融合，对于从同一个样本提取出来的特征x和特征y,通过bilinear pooling得到两个特征融合后的向量，进而用来分类。 丢个原文链接：https://arxiv.org/pdf/1504.07889
compact bilinear pooling
06-28
### 回答1： 紧凑双线性池化是一种用于计算机视觉中图像特征提取的技术。它可以将两个特征向量进行双线性池化，从而得到一个紧凑的特征向量，这个向量可以用于图像分类、目标检测等任务。相比于传统的双线性池化方法，紧凑双线性池化可以大大减少特征向量的维度，从而提高计算效率。 ### 回答2： Compact Bilinear Pooling（紧凑双线性池化）是一种用于图像分类和视觉问答等计算机视觉任务的高效特征融合技术。它可以将两个特征向量通过双线性映射方式快速融合为一个固定长度的特征向量，从而充分保留了两个特征向量中的所有信息。 Compact Bilinear Pooling是由微软研究院的维克托·拉津斯基等人提出的。在实际应用中，它可以提高模型的分类性能，同时减少了模型的计算和存储开销。 Compact Bilinear Pooling主要包括两个步骤：特征映射和特征池化。在特征映射阶段，对于两个输入特征向量，分别采用随机映射的方式将它们映射为高维空间中的特征图。在此基础上，采用双线性池化的方式将这两个特征图相乘并压缩成一个固定长度的向量，即为紧凑双线性池化后的特征向量。具体而言，双线性池化可以通过在空间和通道维度上应用矩阵乘法的方式来实现。 相对于其他特征融合方法，Compact Bilinear Pooling具有以下优点：1）保留输入特征向量的全部信息；2）能够快速生成紧凑的特征向量，减少了计算和存储开销；3）还可以通过改变随机映射的方式来进一步提高模型性能。但是，Compact Bilinear Pooling也存在一些局限性，比如需要大量的计算资源和训练数据支持。 ### 回答3： Compact bilinear pooling 是一种计算视觉特征的技术，它的主要目的是将原始的图像特征矩阵转换成一种紧凑的、固定维度的表示形式，从而能够更好地提高特征的表达能力。 这种技术的核心思想是将两个视觉特征图像进行双线性插值计算，从而得到一个紧凑的、固定维度的特征表示。具体来说，只需要对两个特征进行外积运算，然后将结果压缩成一个特征向量即可。在计算中，为了避免高维向量的计算和存储困难，通常会使用低秩矩阵分解的方法。 compact bilinear pooling 技术有很多的优点。首先，它比传统的卷积神经网络更具有表达能力。通过使用这种技术，可以更好地保留原始图像特征之间的交互作用，从而能够更好地捕捉图像中的细节信息。其次，它具有更小的存储空间需求。通过将特征压缩成固定长度的向量，可以大大减少存储空间和计算成本。 使用 compact bilinear pooling 技术可以对图像进行更好的特征提取和分类，因此在图像识别、人脸识别等领域具有广泛的应用前景。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值