文献阅读笔记-CVPR2019旷视多标签图像识别ML-GCN

已于 2023-10-17 10:44:11 修改
阅读量130 收藏 2
点赞数
文章标签： 计算机视觉 目标检测 图像处理
于 2023-10-17 10:08:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44998272/article/details/133877294
版权

ML-GCN

文献阅读入门，加油冲冲冲！阅读方法参考@柚子味的羊

  • 论文信息

文章中涉及到的先验背景知识、基础概念

    • 1 多标签图像识别：预测图片中各物体的标签
    • 2 预测标签的数量将随着类别数量的增加而呈指数级增长。例如，如果一个数据集包含20个标签，那么预测的标签组合的数量可能超过100万（即2^20个）。
    • 3 拓扑结构是对象共现模式的重要正则化矩阵。例如，一些标签的组合几乎不可能出现在物理世界中。
  • 文章结构
    • Abstract
    • Introduction
    • Related Work
    • Approach
    • Experiments
    • Conclusion
  • 背景

摘要、介绍、相关工作

    • 提出问题：
      •  图片中的物体间普遍存在联系，可以对标签的依赖关系进行建模以提高识别表现
      •  有可拓展性和灵活性的
      • 相关工作：
        • 1 解决多标签识别问题的朴素方法是，独立看待每一个物体，然后转换成二分类问题来预测感兴趣的物体是否出现
        • 2 CNN网络可以很好地解决单标签图像分类问题，但是这些方法都忽略了物体间复杂的拓扑结构
        • 3 刺激了捕捉物体标签相关性/依赖的研究，建模标签的依赖关系，显式地对标签依赖性进行建模：
          • 不基于图（正则化预测空间）
            • 基于概率图，转化成一个结构推理问题，但是可拓展性低；
              • Gong等人，基于排名的学习策略，训练深度卷积神经网络，加权近似排名损失
            • 基于RNN，转化成一个顺序序列问题；
              • Wang等人，结合RNN，将标签转换为嵌入的标签向量
              • Wang，transformer和LSTM单元
            • 基于注意机制。
              • Zhu，空间正则化网络，加权注意图，注意机制
            •  考虑了一个图像中被关注的区域之间的关系，这可以看作是局部相关性，但是忽略了标签的全局的相关性，这需要需要从单一图像之外的知识中推断出来
          • 基于图
            • Li，树状结构图，最大生成树算法
            • Li，与图像相关的条件标签结构
            • Lee，知识图谱
  • 文章方法
    • 两个模块：图像表征学习模块和基于GCN的分类器学习模块
    • 介绍
      • 1 提出基于GCN的多标签识别模型，在物体标签上建立有向图，节点是标签的词嵌入，表示事物间的组合联系，对每个图像标签学习它的相互依赖分类器。
      • 2 用GCN将有先验特征（如词嵌入向量）的标签图映射成相互依赖的对象分类器，将对象分类器作为一组待学习的独立参数向量
      • 3 将分类器应用于另一个子图提取出来的图像描述中，用于端到端的训练
      • 4 这些分类器从标签图中吸收信息，进一步应用于全局图像表示，以进行最终的多标签预测
      • 5 词嵌入向量到分类器的映射参数是在所有类别（如图像标签）之间共享的，所有分类器的梯度都会影响这个基于 GCN 的分类器生成函数，可以对标签的相关性进行隐式建模
    • 方法架构
      • 图像表征学习模块
        • ResNet-101卷积网络，得到2048×14×14的特征图，采用全局最大池化来获取图像级特征x
      • GCN分类器学习模块
        • GCN用于半监督分类，其基本思想是通过在节点之间传播信息来更新节点表示，以特征描述Hl和相应的相关矩阵A作为输入，然后更新节点信息，通过叠加多个GCN层来学习和建模节点之间复杂的相互关系
        • 节点级的输出是每个节点的预测分数，每个GCN节点的最终输出是我们的任务中相应标签的分类器。
        • 每个GCN层l将前一层的节点表示作为输入，输出新的节点表示
        • 第一层输入向量的维数是节点级别的词嵌入，最后输出的向量是图表示级别的，将学习到的分类器应用到图表示中，得到预测分数。整个网络采用传统的多标签分类损失法进行训练
      • 相关系数矩阵
        • 用数据驱动的方式建立，在数据集中挖掘它们的共现模式，以条件概率的形式建模标签相关依赖关系
        • 相互关系矩阵是不对称的
        • 创建方法：
          • ①计算在训练集中标签对的出现情况，得到标签共现矩阵M
          • ②通过M得到条件概率矩阵
          • ③为了解决稀有依赖产生的噪声和关系在训练集与数据集的发生绝对次数不一样而产生的过拟合现象，提出二值化相关性，设置阈值τ进行过滤
      • 重新加权方案
        • 为了避免二值化相关性产生的过平滑，导致节点特征难以区分，改进方案。使用参数p决定节点本身及相邻节点的权重。
  • 文章实验
    • 评价指标
      • 平均mAP值，每一类的&整体的P，R，F1 值
      • 如果标签的置信度大于0.5，则预测为正
    • 实施细节
      • 2个GCN层，输出向量维数分别是1024和2048
      • 标签表示用300-dim GloVe作为堆叠GCN的输入，对多个单词的种类名取所有词嵌入的平均值
      • 相关系数矩阵τ设定为0.4，p设定为0.2
      • 图片表示学习的非线性激活函数设定为LeakyReLU
      • 卷积特征提取骨架采用在ImageNet上预训练好的ResNet-101
      • 训练图片的输入尺寸是随机的，会被重置为448 × 448，同时利用随机水平翻转作为数据增强
      • 网络优化器使用SGD，momentum设为0.9，Weight decay 是10e−4；初始学习率0.01，每40个epoch衰减10倍；网络训练100个epoch，使用PyTorch框架
    • 对比
      • 与最先进的方法相比，本文方法与所提出的重新加权方案在几乎所有指标下都表现得更好
    • 消融实验
      • ML-GCN对不同类型单词嵌入方法的敏感性
        • GloVe， Google News，FastText，the simple one-hot word embedding
        • 使用不同的单词嵌入作为GCN的输入，多标签识别精度不会受到显著影响；方法所实现的准确性提高并不是绝对来自于单词嵌入的语义；使用强大的单词嵌入可以导致更好的性能
      • 阈值τ在相关矩阵二值化中的影响
        • 当过滤掉小概率的边缘（即有噪声的边缘）时，多标签识别的精度提高了；当太多的边被过滤掉时，精度会下降，因为相关的邻居也会被忽略
      • p对相关矩阵重加权的影响
        • 如果p太小，则图中的节点（标签）无法从相关的节点（标签）中获得足够的信息。而如果p太大，就会导致过度平滑；但是p等于0时效果也很好，此时并没有明确地合并标签相关性，主要得益于ML-GCN建立的隐式依赖相关性
      • GCN的深度
        • 当图卷积层数增加时，两个数据集上的多标签识别性能都会下降。可能的原因是当使用更多的GCN层时，节点之间的传播会累积，从而导致过度平滑。
    • 分类器结果可视化
      • 通过该方法学习到的分类器可能不局限于学习到分类器的数据集，可能具有泛化能力（例如，超级概念“交通”中的分类器“汽车”和“卡车”，在分类器空间中很接近）；普通ResNet学习到的分类器均匀地分布在空间中，并且没有显示出任何有意义的拓扑结构；该方法能够有效地建模标签依赖关系
    • 在图像检索中的表现
      • 该方法的检索结果明显优于普通的ResNet
  • 总结和思考( •̀ ω •́ )✧
    • 创新点：
      • 1 卷积提取特征+GCN根据词嵌入提取依赖关系
      • 2 显式地为分类器学习的标签依赖性建模，吸收相关节点的信息-->标签相关系数矩阵-->指导信息传播
      • 3 重新加权方案-->平衡节点和邻域之间的权值，以进行节点特征更新-->避免过拟合和过平滑
      • 4 定性和定量的实验结果都表明，该方法优于先前的计算方式，且分类器保持了重要的语义拓扑结构
    • 文章不足：
      • 作者没写不足...outperforms other existing state-of-the-art methods
    • 可借鉴点/学习点：
      • 作为GCN在多标签图像识别的开山之作，还是值得一看的
      • 实验证明做的很充分，有对比、消融、关键结果可视化以及应用能力
      • 好会吹水，这个来回拉扯的书写方式给我学！
快乐学习呢
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ML_GCN
qq_42467712的博客
05-14 262
Keras ML-GCN import tensorflow as tf # from tensorflow.keras.layers import merge from tensorflow.keras.layers import Reshape from tensorflow.keras import activations, initializers, constraints from tensorflow.keras import regularizers from tensorflow.kera
cvpr2020 人脸检测与识别_CVPR2020| 最新CVPR2020论文抢先看，附全部下载链接
weixin_39568597的博客
12-19 443
CVPR 2020目标检测Bridging the Gap Between Anchor-based and Anchor-free Detection via Adaptive Training Sample Selection 论文地址：https://arxiv.org/abs/1912.02424代码：https://github.com/sfzhang15/ATSSFew-Shot Ob...
【论文阅读】[ML-GCN] Multi-Label Image Recognition with Graph Convolutional Networks
qq_36182852的博客
11-21 2399
多标签图像识别的两个重要问题： 如何有效获取目标标签之间的相关性？ 如何利用这些标签相关性提升分类表现？ 作者使用图（graph）来对标签之间的相互依赖关系进行建模，来灵活地获取标签空间中的拓扑结构： 由于从词嵌入向量到分类器的映射参数在所有类别中是共享的，所以学习到的分类器能够在词嵌入空间中（语义相关的概念在词嵌入空间中彼此临近）保留较弱的语义结构。与此同时，对于可以对标签依赖性进行隐式建模的分类器函数，所有分类器的梯度都会对它产生影响。 基于标签的共现模式，设计了一个全新的标签相关系数矩阵，可显
CVPR 2019 | 旷视研究院提出ML-GCN：基于图卷积网络的多标签图像识别模型
Paper weekly
04-11 5408
全球计算机视觉三大顶会之一CVPR2019（IEEEConferenceonComputerVisionandPatternRecognition）将于...
ML-GCN：深度学习中的图卷积网络新秀
gitblog_00096的博客
03-26 389
ML-GCN：深度学习中的图卷积网络新秀 项目地址:https://gitcode.com/Megvii-Nanjing/ML-GCN 在深度学习的世界中，图神经网络（GNN）和图卷积网络（GCN）因其处理非欧几里得数据的强大能力而受到广泛关注。 Megvii 研究团队（商汤科技）开源的 ML-GCN 是一个基于 PyTorch 的图卷积网络框架，致力于解决大规模多模态图学习问题。本文将深入解析...
Python-CVPR2019CVPR20182017论文源码汇总项目
08-10
通过参与CVPR的论文，我们可以洞察到计算机视觉的最新发展，包括深度学习、图像识别、目标检测、语义分割、图像生成、增强现实、视频分析等多个方向。 在这个项目中，"cvpr2019-master"可能是一个包含2019年CVPR...
siamMask-CVPR2019.pdf
02-27
商汤团队CVPR2019 oral 论文：siamMask，“FastOnlineObjectTrackingandSegmentation: AUnifyingApproach ”
深度学习三维重建 R-MVSNet-CVPR-2019（源码、原文+译文）
08-21
深度学习三维重建 R-MVSNet——CVPR-2019（源码、原文+译文） 深度学习三维重建 R-MVSNet——CVPR-2019（源码、原文+译文） 深度学习三维重建 R-MVSNet——CVPR-2019（源码、原文+译文） 深度学习三维重建 R-MVSNet...
Python-CVPR2019论文开源项目合集
08-11
CVPR 2019 论文开源项目合集
ML-GCN（一）代码训练与运行
热门推荐
祥瑞的技术博客
04-24 1万+
目的：运行并粗略看懂ML-GCN的代码。注：此代码为更改后的代码，结构与原来模型相差甚远。但代码结构大致相同。 代码地址：https://github.com/chenzhaomin123/ML_GCN 论文地址 https://arxiv.org/abs/1904.03582 目录 一、相关依赖项下载 1.1 程序及数据 1.2 数据集 1.3 放入对应位置 1.4 标注 an...
ML_GCN_目标检测_标签检测_基于多标签的目标检测_planning7ai_GCN_
09-30
基于多标签的目标检测，与传统的木匾检测算法不同，最后实现分类
GCN推导
01-06
GCN涉及到的理论比较多，包括信号分析中的傅里叶变换、图谱等理论，这里只做一个简单的推导，旨在让读者了解GCN推导的大致思路以及其中用到的定理，错误之处还请指出。大致了解GCN的思路后可移步学习其中涉及到的理论知识： 如何理解图卷积 图卷积网络 GCN Graph Convolutional Network 由于图是不规则化的非欧式结构数据，而CNN是在欧式数据（如图片、语音等）上进行卷积，如何在不规则的图上定义卷积？我们从卷积定理入手。 卷积定理 卷积定理：函数卷积的傅里叶变换是函数傅立叶变换的乘积 这个定理十分关键，假设有两个函数fff和ggg，FFF代表傅里叶变换，F(−1)F^(-1)
探秘ML-GCN：深度学习中的图卷积网络新星
最新发布
gitblog_00025的博客
04-25 379
探秘ML-GCN：深度学习中的图卷积网络新星 项目地址:https://gitcode.com/megvii-research/ML-GCN ![](https://gitcode.net/megvii-research/ML-GCN/hub images/readme) 在深度学习领域中，图神经网络（GNNs）尤其是图卷积网络（GCN）已经成为处理非欧几里得数据和复杂结构信息的重要工具。由Meg...
ML-GCN代码demo_voc2007_gcn相关注解
qq_44015059的博客
04-23 2176
前言 对ML-GCN相关代码进行阅读，提升一下编程能力同时更加深入理解此篇文章 论文地址 代码地址 engine.py ```python import os import shutil import time import torch.backends.cudnn as cudnn import torch.nn.parallel import torch.optim import torch...
基于场景文字知识挖掘的细粒度图像识别算法
odssodssey的博客
04-19 3172
Knowledge Mining with Scene Text for Fine-Grained Recognition 一、研究背景 文字是人类传达信息、知识和情感的重要载体，其蕴含了丰富的语义信息。利用文字的语义信息，可以更好地理解图像中的内容。和文档文本不同，场景文字具有稀疏性，通常以少许关键词的形式存在于自然环境中，通过稀疏的关键词，机器难以获取精准的语义。然而，人类能够较为充分地理解稀疏的场景文字，其原因在于，人类具有大量的外部知识库，能够通过知识库来弥补稀疏的场景文字所带来的语义损.
ML-GCN遇到的问题（未解决）
weixin_42137840的博客
10-12 477
Traceback (most recent call last): File "demo_coco_gcn.py", line 76, in <module> main_coco() File "demo_coco_gcn.py", line 73, in main_coco engine.learning(model, criterion, train_dataset, val_dataset, optimizer) File "/userhome/gyt/ML.
CVPR 2023 | 用GAN统一图像识别和生成！谷歌提出MAGE，效果号称超越MAE，达到SOTA！...
idol24的博客
03-11 2197
本文来源 机器之心识别和生成是人工智能领域中的两大核心任务，如果能将二者合并到一个统一的系统中，这两个任务应该能实现互补。事实上，在自然语言处理中，像 BERT [1] 这样的模型不仅能够生成高质量的文本，还能够提取文本中的特征。然而，在计算机视觉领域，目前的图像生成模型和识别模型大多是分开进行训练，没有充分利用这两个任务的协同作用。这主要是由于图像生成和图像识别的模型通常具有本质上的结构差异：...
WISE 2019 | ML-GCN：多标签图节点分类的半监督图嵌入
KI的博客
07-01 2422
WISE 2019 | ML-GCN：多标签图节点分类的半监督图嵌入
ML-GCN（二）模型结构更改
祥瑞的技术博客
04-28 3513
背景：我们需要更改相应的模型。 （另，训练测试的时候，训练集上的mAP居然比验证集上的差，比如epoch =1的时候差了 30个百分点，可能程序编写有误，这点我们需要搞懂,查清代码原因。） 目录 一、模型定义 1.1 定义位置 1.2 输入参数 1.3 初始化的网络 1.4 结构关系 二、heads网络 2.1 输入参数 2.2 初始化网络结构 2.3 前馈结构 Globa...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值