论文笔记: Compact Bilinear Pooling

最新推荐文章于 2024-08-21 08:51:36 发布

zdcs

最新推荐文章于 2024-08-21 08:51:36 发布

阅读量5.4k

点赞数

分类专栏：深度学习论文笔记自然语言处理文章标签：人工智能自然语言处理 VQA 图像处理计算机视觉

原文链接：https://arxiv.org/abs/1511.06062v2

版权

自然语言处理同时被 3 个专栏收录

20 篇文章 1 订阅

订阅专栏

深度学习

19 篇文章 1 订阅

订阅专栏

论文笔记

8 篇文章 0 订阅

订阅专栏

Compact Bilinear Pooling
Yang Gao1, Oscar Beijbom1, Ning Zhang2∗, Trevor Darrell1 † 1EECS, UC Berkeley 2Snapchat Inc. {yg, obeijbom, trevor}@eecs.berkeley.edu {ning.zhang}@snapchat.com

arXiv:1511.06062v2 [cs.CV] 12 Apr 2016

摘要:

双线性模型在一系列视觉任务表现很好，如语义分割，细粒度识别，面部识别..

然而，双线性特征是高维的，一般高达几十万到数百万，这样使得接下来的分析不可行。

本文提出两种紧凑的双线性表征，具有和完全的双向性表征一样的区分能力但是仅仅只有几千维度

这种紧凑的表征可以使用分类错误样本的反向传播，从而可以达到图像识别系统的端到端的优化。

该紧凑的双线性表征来自于一种新的双线性池核化分析方法，它洞悉了双线性池的区分能力。

因为方向改变，不再更新....（伪原创）

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

zdcs

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
5
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

论文笔记: (compact) Bilinear Pooling, Confusion

Wayne2019的博客

11-04

1万+

Learn by attention, learn with confusion.先引用几段魏秀参大神的论述「见微知著」——细粒度图像分析进展综述细粒度物体的差异仅体现在细微之处。如何有效地对前景对象进行检测，并从中发现重要的局部区域信息，成为了细粒度图像分类算法要解决的关键问题。对细粒度分类模型，可以按照其使用的监督信息的多少，分为“基于强监督信息的分类模型”和“基于弱监督信息的分类模型”两

【多模态论文阅读】Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual

qq_36643449的博客

03-03

2843

一、亮点在融合文本和视觉两种模态的时候，通常使用concatenation的方法或者element-wise 乘积or求和，但是我们认为这些方法不如两个向量之间的外积那样具有表现力。与元素积相比，外积计算的是两个向量的所有元素之间的乘法交互。然而由于外积的高维性，通常是不可行的，所以本文提出用多么太紧凑双线性池化(MCB)来高效地表达多模态特征。并且本文的还有一个亮点在于，对于VQA任务，使用两次MCB——一次用于预测对于空间特征的attention，另一次用于融合文本特征和视觉特征。通过将图像和文本

5 条评论您还未登录，请先登录后发表或查看评论

compact bilinear pooling(tensorflow版本)

08-23

compact bilinear pooling(tensorflow版本)，可用于细粒度分类，特征融合

(compact) Bilinear Pooling, Confusion

心之所向

12-27

1117

来源 Learn by attention, learn with confusion. 先引用几段魏秀参大神的论述「见微知著」——细粒度图像分析进展综述细粒度物体的差异仅体现在细微之处。如何有效地对前景对象进行检测，并从中发现重要的局部区域信息，成为了细粒度图像分类算法要解决的关键问题。对细粒度分类模型，可以按照其使用的监督信息的多少，分为“基于强监督信息的分类模型”和“基于弱监督信息...

双线性卷积神经网络（Bilinear CNN）实践指南

最新发布

gitblog_00618的博客

08-21

805

双线性卷积神经网络（Bilinear CNN）实践指南 bilinear-cnnPyTorch implementation of bilinear CNN for fine-grained image recognition项目地址:https://gitcode.com/gh_mirrors/bi/bilinear-cnn 项目介绍双线性卷积神经网络，由HaoMood/bilinear-...

双线性池化（Bilinear Pooling）

专业主义

06-28

3334

bilinear pooling主要用于特征融合，对于从同一个样本提取出来的特征x和特征y，通过bilinear pooling得到两个特征融合后的向量，进而用来分类。如果特征x和特征y来自两个特征提取器，则被称为多模双线性池化（MBP，Multimodal Bilinear Pooling）；如果特征x=特征y，则被称为同源双线性池化（HBP，Homogeneous Bilinear Pooling）或者二阶池化（Second-order Pooling）。原始的Bilinear Pooling存在融合

论文阅读笔记之——《Compact Bilinear Pooling》

gwpscut的博客

07-10

3328

感觉跟之前看过的论文《实验笔记之——《Multi-scale Location-aware Kernel Representation for Object Detection》复现》很类似，通过kernel的近似来实现高维特征的提取虽然bilinear 模型取得较好的performance，但是它的成本高（运算量、存储量）。为此作者提出一种紧凑型的bilinear model Our pr...

bilinear pooling

weixin_30616969的博客

04-25

240

一、双线性汇合的计算过程：第一步，计算Gram 矩阵：对于一组H×W×D的feature maps，$\boldsymbol{x}_{i} \in \mathbb{R}^{D}$是图像的深度描述，其中$1 \leq i \leq H W$。双线性汇合双线性汇合是计算深度描述向量的格拉姆矩阵（Gram matrix），其中$\boldsymbol{G} \in \mathbb{R}...

[2016-CVPR].Compact Bilinear Pooling.（压缩双线性池化）.v21

08-03

在计算机视觉领域，【2016-CVPR】中的"Compact Bilinear Pooling"是一项重要的研究，由Yang Gao, Oscar Beijbom, Ning Zhang和Trevor Darrell提出。该研究针对的是双线性模型在图像分析任务中的应用，特别是其在语义...

CompactBilinearPooling-Pytorch:紧凑型双线性池的Pytorch实现

05-02

CompactBilinearPooling-Pytorch 紧凑型双线性池的Pytorch实现。改编自先决条件通过安装 pip install pytorch_fft 用法 from torch import nn from torch ....from CompactBilinearPooling import ...

【笔记】双线性池化（Bilinear Pooling）详解、改进及应用

zenRRan的博客

02-09

8304

点击上方，选择星标或置顶，每天给你送干货！阅读大概需要16分钟跟随小博主，每天进步一丢丢来自| 知乎作者丨林小北来源丨https://zhuanlan.zhihu.com/p/6253...

双线性池化（Bilinear pooling）tensorflow版

08-23

双线性池化（Bilinear pooling）tensorflow版，可以用于细粒度分类

双线性池化（bilinear pooling）

weixin_43899249的博客

04-27

627

双线性池化（bilinear pooling）简介公式通俗的说法如果理解有误请指出简介 bilinear pooling在2015年于《Bilinear CNN Models for Fine-grained Visual Recognition》被提出来用于fine-grained分类后，又引发了一波关注。bilinear pooling主要用于特征融合，对于从同一个样本提取出来的特征x和特征 y ，通过bilinear pooling得到两个特征融合后的向量，进而用来分类。如果特征x和特征y来自两

双线性池化【BiLinear Pooling】

hei_hei_hei_的博客

05-12

1172

1. 简介 bilinear pooling主要用于特征融合，对于从同一个样本中提取出来的特征x和y，通过bilinear pooling操作可以得到x和y融合后的特征（本质是向量相乘） ps：如果x和y来自两个特征提取器，则被称为多磨双线性池化（MBP）;若x=y，则被称为同源双线性池化（HBP）或二阶池化（Second-order Pooling） 2. 计算过程对于图像III在位置lll上的两个特征向量fA(l,I)∈RT×Mf_A(l,I)∈R^{T×M}fA(l,I)∈RT×M和fB(l,I)

Multimodal Compact Bilinear Pooling（MCB）多模态紧凑双线性池

薄荷糖

01-16

2612

出自：Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual Grounding 分别提取对应模态的特征：对图片利用pre-train的CNN提取图片高层特征，对于文本则提取word-embeding,并通过lstm解码后的特征；　　利用上个步骤得到的两个模态特征，分别利用Count Sketch方法进行逼近(降维)，得到降维之后的特征；将上述得到的特征分别进行FFT，将其变换至频域，并在频域作向

双线性池化 bilinear pooling

小幸运

07-14

8648

bilinear pooling主要用于特征融合，对于从同一个样本提取出来的特征x和特征y，通过bilinear pooling得到两个特征融合后的向量，进而用来分类。如果特征x和特征y来自两个特征提取器，则被称为多模双线性池化（MBP，Multimodal Bilinear Pooling）如果特征x=特征y，则被称为同源双线性池化（HBP，Homogeneous Bilinear Pooling）或者二阶池化（Second-order Pooling） bilinear pooling详.

FGVC---Bilinear Pooling (双线性池化)及其发展

xys430381_1的专栏

04-23

5743

这里写目录标题基本的Bilinear CNN降低维度Compact Bilinear Pooling-CVPR2016Low-rank Bilinear Pooling for Fine-Grained Classification-CVPR2017跨层双线性池化Hierarchical Bilinear Pooling for Fine-Grained Visual Recognition-EC...

双线性池化(Bilinear Pooling)与二阶池化(Second-order pooling)

lipengfei0427的博客

11-08

5984

双线性池化(Bilinear Pooling) 双线性池化，Bilinear Pooling出自于论文《Bilinear CNN Models for Fine-grained Visual Recognition》。双线性的意思是包含两个特征提取器，其输出经过外积相乘、池化然后得到结果。其主要用于特征融合，对于从同一个样本提取出来的特征x和特征y,通过bilinear pooling得到两个特征融合后的向量，进而用来分类。丢个原文链接：https://arxiv.org/pdf/1504.07889

学习笔记之——双线性汇合(bilinear pooling)

gwpscut的博客

06-23

9200

本博文为学习笔记，博文的内容来自网上各种资料，在文末给出引用，本博文不作任何商业用途，仅供本人学习记录细粒度图像分类旨在同一大类图像的确切子类。由于不同子类之间的视觉差异很小，而且容易受姿势、视角、图像中目标位置等影响，这是一个很有挑战性的任务。因此，类间差异通常比类内差异更小。双线性汇合（bilinear pooling）计算不同空间位置的外积，并对不同空间位置计算平均汇合以得...

compact bilinear pooling

06-28

### 回答1：紧凑双线性池化是一种用于计算机视觉中图像特征提取的技术。它可以将两个特征向量进行双线性池化，从而得到一个紧凑的特征向量，这个向量可以用于图像分类、目标检测等任务。相比于传统的双线性池化方法，紧凑双线性池化可以大大减少特征向量的维度，从而提高计算效率。 ### 回答2： Compact Bilinear Pooling（紧凑双线性池化）是一种用于图像分类和视觉问答等计算机视觉任务的高效特征融合技术。它可以将两个特征向量通过双线性映射方式快速融合为一个固定长度的特征向量，从而充分保留了两个特征向量中的所有信息。 Compact Bilinear Pooling是由微软研究院的维克托·拉津斯基等人提出的。在实际应用中，它可以提高模型的分类性能，同时减少了模型的计算和存储开销。 Compact Bilinear Pooling主要包括两个步骤：特征映射和特征池化。在特征映射阶段，对于两个输入特征向量，分别采用随机映射的方式将它们映射为高维空间中的特征图。在此基础上，采用双线性池化的方式将这两个特征图相乘并压缩成一个固定长度的向量，即为紧凑双线性池化后的特征向量。具体而言，双线性池化可以通过在空间和通道维度上应用矩阵乘法的方式来实现。相对于其他特征融合方法，Compact Bilinear Pooling具有以下优点：1）保留输入特征向量的全部信息；2）能够快速生成紧凑的特征向量，减少了计算和存储开销；3）还可以通过改变随机映射的方式来进一步提高模型性能。但是，Compact Bilinear Pooling也存在一些局限性，比如需要大量的计算资源和训练数据支持。 ### 回答3： Compact bilinear pooling 是一种计算视觉特征的技术，它的主要目的是将原始的图像特征矩阵转换成一种紧凑的、固定维度的表示形式，从而能够更好地提高特征的表达能力。这种技术的核心思想是将两个视觉特征图像进行双线性插值计算，从而得到一个紧凑的、固定维度的特征表示。具体来说，只需要对两个特征进行外积运算，然后将结果压缩成一个特征向量即可。在计算中，为了避免高维向量的计算和存储困难，通常会使用低秩矩阵分解的方法。 compact bilinear pooling 技术有很多的优点。首先，它比传统的卷积神经网络更具有表达能力。通过使用这种技术，可以更好地保留原始图像特征之间的交互作用，从而能够更好地捕捉图像中的细节信息。其次，它具有更小的存储空间需求。通过将特征压缩成固定长度的向量，可以大大减少存储空间和计算成本。使用 compact bilinear pooling 技术可以对图像进行更好的特征提取和分类，因此在图像识别、人脸识别等领域具有广泛的应用前景。