CMID笔记

最新推荐文章于 2024-08-14 11:57:07 发布
最新推荐文章于 2024-08-14 11:57:07 发布
阅读量845 收藏 29
点赞数 14
分类专栏： 论文笔记 文章标签： 笔记 python 计算机视觉 图像处理 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Ting_King_ing/article/details/140605871
版权

文末有论文和代码链接

基础信息

关键词：对比学习；深度学习；掩膜图像建模；遥感预训练；自监督学习

期刊：IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING

年份：2023

目前问题

  1. 大多数现有的遥感自监督方法仅限于学习全局语义可分离或局部空间可感知表示

本文研究

  1. 更适合表示学习的自监督模型——对比掩膜图像蒸馏（CMID），能够通过对比学习（CL）与掩膜图像建模（MIM）相结合，以自蒸馏的方式学习具有全局语义分离性和局部空间感知性的表示
  2.  CMID 学习框架与架构无关，与卷积神经网络 （CNN） 和视觉转换器 （ViT） 兼容

论文概况

针对问题

  • 现有的方法，无论是CL还是MIM，都仅限于使用单一SSL方法。因为CL和MIM的固有局限性，学习到的表示在结合全局语义可分离性和局部空间可感知性方面都受到限制（如下图）
    • CL（a）仅关注图像间语义关系，而忽略了图像内结构，局部空间感知性较差
    • MIM（b）预训练模型在密集预测任务中表现良好，但在分类任务中效果不佳，全球语义可分离性较差
    • 本文所提CMID（c），以统一的方式学习具有全局语义可分离性和局部空间可感知性的表示

本文想法

  1. 最适合RS图像的SSL方法应该提高模型在各种下游任务中的性能，这意味着学习到的表示应该既是全局语义可分离的，又应该是局部空间可感知的
  2. MIM学习图像内结构并感知图像中每个像素的上下文信息，导致学习的表示具有局部空间可感知性，但代价是全局语义可分离性
  3. CL和MIM的不同学习目标导致捕获不同层次的抽象和语义，简单地将它们对齐在同一特征空间中将导致语义混淆和错位，最终降低下游任务的性能
  4. 提出了对比掩膜图像蒸馏（CMID）来克服以上挑战，并以统一的方式学习全局语义可分离和局部空间可感知表示

论文主要模块

CMID流程

  1.  学生编码器将蒙版图像映射到潜在嵌入
  2. 教师编码器则对完全增强的图像进行编码，以确保语义完整性并提供对比监督来指导学生
  3. 将潜在嵌入投影到不同的特征空间中，以执行重建或判别任务，这有助于防止不同语义级别的混淆
    1. 在重建任务中，学生通过在空间域和频域中恢复被屏蔽的部分来学习捕获局部空间细节的表示
    2. 在辨别任务中，学生通过区分学生和教师的嵌入与其他图像的嵌入来学习全局语义可分离表示
  4. 特征向量的局部语义对齐在教师和学生输入中的相应位置，以克服由于掩码比大而导致的语义不完整，并增强学习表示的局部可分离性

CMID模型：师生网络+三个分支

  1. 师生自蒸馏架构
    1. 整个网络旨在通过其师生架构在来自每个分支的学习信号之间进行交互和平衡
    2. 输入图像x，首先使用掩码增强或随机数据增强生成两个 x 视图，称为掩码图像和增强图像
    3. 将两个x视图分别输入给学生和教师。【教师和学生共享相同的架构（CNN 或 ViT）。学生的参数与教师的参数呈指数移动平均 （EMA）】
    4. 学生将蒙版图像映射到潜在嵌入
    5. 教师对增强图像进行编码以保持语义完整性并提供对比监督来指导学生
  2. 三个分支构成
    1. MIM分支：用 MIM 方法来学习局部空间可感知表示，使用学生在空间域和频域中的潜在嵌入输出来重建蒙版图像
    2. 全局分支：使用 CL 方法，专注于学习全局语义可分离表示
    3. 局部分支：通过自蒸馏来恢复在MIM分支中丢失的对象级信息

 MIM模块

  1. 遵循 SimMIM
    1. 将x修补为非重叠图像斑块 x^{p}，并随机生成掩码 M 以隐藏图像斑块的一部分
    2. 被屏蔽的补丁被一个可学习的屏蔽令牌 [MASK] 替换，该令牌 [MASK] 初始化为零，以指示存在要预测的缺失补丁
    3. 编码器接收被屏蔽的图像 x_{mask} （如公式1）并生成潜在嵌入
    4. 轻量级单层MLP解码器（上图中的MIM头）使用这种嵌入来输出预测的重建图像x′
    5. 采用L1损失和Lspat来更新参数模型（如公式2）
  2. 一些问题
    1. SimMIM用MASK令牌替换了屏蔽的补丁，但RS图像以其多目标特性而闻名，并且对象通常密集分布。掩蔽操作可能导致图像中密集和较小的物体丢失，使得语义意义不完整
    2. 零初始化掩码令牌MASK 最初并未显示在图像中。直接使用它来替换被屏蔽的补丁会导致被屏蔽的图像和增强图像之间的不一致，这将降低其他两个分支中学习到的表示的判别性
  3. 对应优化
    1. 利用平均光谱值填充掩膜补丁的策略（如公式3，其中 x_{p}^{m} 表示在被掩膜的斑块被平均光谱值填充后的图像斑块集），并将可学习掩码标记MASK添加到补丁嵌入中（ViT中补丁嵌入层的输出或CNN中词干层的输出），而不是简单地替换被屏蔽的补丁
    2. 通过对齐学生和教师输出之间的局部语义，进一步减轻了由小对象丢失引起的语义不完整性
    3. 在频域中加入了焦频损失（FFL）L_{freq}（如公式4） ，以加强原始图像和重建图像之间的一致性

全局分支

  1. 一些问题及解决
    1. 学生通过捕获细粒度的视觉上下文和语义来学习局部空间可感知的表示，但失去了全局可分离性
    2. 为了弥合这一差距，学生接受培训，以恢复蒙版图像的全局语义内容，并通过使用全局分支中的视觉词典队列将其表示与教师的表示对齐来学习全局语义可分离表示
  2. 流程
    1. 学生和教师的输出在采用的 MoCo CL 方法中充当查询和键
    2. 查询和键都使用全局平均池化 （GAP） 进行池化，以获取它们各自的全局表示，然后将其投影到另一个特征空间
    3. 应用 infoNCE 损失来对齐查询和键的表示（如公式5）

局部分支

  1. 一些问题
    1. 掩码操作在RS图像中放置密集且较小的对象从而导致语义不完整，不仅恶化了MIM分支中局部空间语义的提取，而且由于它给图像的语义意义带来了歧义，从而影响了全局分支
    2. 由于蒙版和增强图像是通过对原始图像应用两次随机裁剪生成的，因此两个裁剪后的图像之间可能不存在任何重叠区域，即没有位置匹配的特征向量
  2. 对应优化
    1. 通过对齐学生和教师的本地语义来进一步缓解本地分支中的语义不完整性（详细流程如上图，结合流程看）
    2. 在随机裁剪过程中进一步限制了最小裁剪图像的大小，以确保两个裁剪后的图像之间存在一定的重叠，绝对位置计算如下图，特征向量在特征图中位置 （u， v） 的绝对位置如公式6、7

  • 流程
    1. 使用学生和教师在原始输入图像 x 中的绝对位置
    2. 从学生和教师的输出特征图中的特征向量中选择 N 个位置匹配对
    3. 利用两个特征图中每个特征向量的绝对位置计算它们的欧几里得距离，选择前N个最接近的特征向量作为位置匹配对
    4. 这些匹配的对被投影到另一个特征空间，并映射到一组可学习的原型，以获得它们各自与这些原型的相似性
    5. 训练过程中，这些原型逐渐被学习并对数据集中各种对象的语义信息进行建模，使模型能够学习比使用对比损失直接对齐匹配对更高级的局部对象级语义
    6. 对学生进行训练，以最小化位置匹配对之间这些相似性分布的差异，相似度分布pi和qi如公式8、9
    7. 最小化 pi 和 qi 之间的交叉熵损失，如公式10

 

  • CMID总损失如公式11

 论文链接

 代码链接

Ting_King_ing
关注
  • 14
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Light-Head R-CNN算法笔记
AI之路
11-28 1万+
论文：Light-Head R-CNN: In Defense of Two-Stage Object Detector 链接：https://arxiv.org/abs/1711.07264这篇是旷视和清华大学在COCO 2017比赛拿到冠军的算法。目前object detection算法主要分为one stage的SSD、YOLO；two stage的Faster RCNN、R-FCN、Mas
自监督论文阅读笔记 TASK-RELATED SELF-SUPERVISED LEARNING FOR REMOTE SENSING IMAGE CHANGE DETECTION
YoooooL_的博客
07-06 1115
摘要： 遥感影像变化检测 广泛应用于 城市变化检测、灾害评估等领域。然而，现有的大多数基于 CNN 的变化检测方法 仍然存在 伪变化抑制不足 和 特征表示不足的问题。在这项工作中，提出了一种 基于 具有平滑机制的任务相关自监督学习变化检测网络（TSLCD）的无监督变化检测方法来消除它。 Contributions： (1) 引入了任务相关的自监督学习模块，以更有效地提取空间特征。 (2) 应用 hard-
freemarker学习笔记
蓝假儿的博客
01-27 1004
http://freemarker.org/docs/dgui_quickstart_basics.html freemarker语法： #assign 定义变量； 例： # text?eval 把变量String类型text变成json类型； 例： #list json.list as item 相当于foreach循环，循环 json.list 的数据，每个数据为item
数据分析之Numpy库入门学习笔记
qq_45348840的博客
04-10 826
数据分析第一弹，NumPy
论文学习笔记-PointConv
Custom自定义
10-14 946
『写在前面』 提出一种应用在点云数据上的，高度近似传统2d-Conv操作的卷积运算符PointConv。并且同时给出了PointConv的反卷积版本，最终在点云分类、点云语义分割等任务上都达到了与SOTA相当的效果，ModelNet-40分类任务上同CVPR 2019的RSCNN精度更高93.6% vs 92.5%（PointConv）。 作者机构：Wenxuan Wu等，Oregon St...
Light-Head R-CNN 阅读笔记
Zealoe的博客
11-22 5783
目前的 object detection 基本基于两种框架，一种是 two-stage 的，是R-CNN一系列的方法；另一种是 one-stage 的，比如YOLO，SSD。虽然 two-stage 的方法比one-stage的方法更准确，但速度慢。作者认为 two-stage 速度慢的原因，two-stage 的方法在本身的一个基础网络上都会附加计算量很大的一个用于 classification+regression 的网络，导致速度变慢。因此，作者为了解决 detection 的速度问题，提出了一种新的
《Linux Shell 编程艺术》笔记
dianyingfei1058的博客
05-09 229
第一章：Shell介绍和脚本基础 1.系统登录： Alt+Ctrl+Fn(n-1~7) 2.查询当前正在使用的Shell: echo $SHELL 3.创建一个进程的方法： 通过fork()系统调用创建子进程 然后在子进程中通过调用系统调用execve()执行一个可执行的程序，父进程就是Shell。 4.Linux系统中有两类命令：外部命令和内建命令 内建...
Light Head R-CNN论文笔记
浩瀚之水的专栏
09-17 180
先上链接：  论文：Light-Head R-CNN: In Defense of Two-Stage Object Detector  链接：https://arxiv.org/abs/1711.07264  代码： TF链接 introduction 本篇文章介绍的算法是是旷视和清华大学在COCO 2017比赛拿到冠军的算法。目前常用的object detection框架有两种：一种是基于...
Light-Head R-CNN论文笔记
Counting_Stars的博客
04-01 174
Light-Head R-CNN解读 转载地址：https://blog.csdn.net/u013010889/article/details/78647389 其他链接：https://blog.csdn.net/u014380165/article/details/78651060 https://blog.csdn.net/dlyldxwl/articl...
Chinese Medical Intent Dataset(CMID)中文医学意图数据集CMID-数据集
03-12
《中文医学意图数据集CMID——深度学习在医疗领域的应用与解析》 中文医学意图数据集CMID（Chinese Medical Intent Dataset）是由IMU（可能是某个研究机构或大学的缩写）精心构建并提供的，旨在推动自然语言处理...
freemark笔记
01-27
### Freemarker 笔记知识点详解 #### 一、Freemarker 概述 Freemarker 是一款用 Java 编写的模板引擎，它基于模板来生成文本输出。模板中可以包含静态数据、简单表达式、控制结构（循环/条件语句）、宏等。它常...
Chinese MedDialog Dataset 中文医疗对话数据集-数据集
03-12
CMDD is provided by haodf and University of San Diego.本数据集由好大夫和圣地亚哥大学提供。 mdd_bertGPT_datasets.zip mdd_gpt2_datasets.zip mdd_transformer_datasets.zip .gitattributes ...
人工智能-项目实践-意图识别-基于多图神经网络的领域知识和语法结构融合的中文健康问询意图识别方法.zip
12-14
CMID: https://github.com/liutongyang/CMID Qcorp: https://www.heywhale.com/home/competition/5f2d0ea1b4ac2e002c164d82 (注：Qcorp相关比赛界面已关闭数据下载链接，故本项目只提供处理后的CMID数据) 使用的健康...
VS二次开发获取菜单方法
06-05
本篇将详细讲解如何在VS中获取菜单的GUID、CMID等信息，并探讨添加自定义菜单的方法。 首先，了解基本概念： 1. **GUID**: 全局唯一标识符（Globally Unique Identifier），在VS中用于区分不同的菜单、工具栏或命令...
LLama3技术报告笔记(SFT+DPO)
smartcat2010的博客
08-11 124
在原有的2类response基础上，加入一类edited：把人在chosen response上的修改；和经典方法效果是类似的，比经典方法的训练速度快；（经典方法：prompt和每个response分别当作1个样本，预测结果是1个分数）把prompt和2~3个response放在同一个样本里（response顺序打乱）reward model: 基于预训练模式，使用人工标注的Pair数据，得到；（output到底是什么？
算法的学习笔记—删除链表中重复的结点（牛客JZ76）
最新发布
业精于勤，荒于嬉
08-14 768
本文介绍了一种删除排序链表中重复节点的高效算法。通过递归的方式，算法能够有效地删除所有重复节点，并保留链表中仅出现一次的节点。此方法的实现简单且易于理解，同时在时间和空间复杂度方面表现优异，适用于处理大规模数据链表中的重复节点问题。😁热门专栏推荐想学习vue的可以看看这个java基础合集数据库合集redis合集nginx合集linux合集手写机制微服务组件spring_尘觉springMVCmybits🤔欢迎大家加入我的社区尘觉社区。
第二十五天培训笔记
weixin_70756988的博客
08-12 1045
选项表示将所有的依赖和代码打包到一个单独的文件中，这样生成的可执行文件更便于。、设置清华镜像站（从国内下载安装包，提高下载和安装工具速度）文件夹中找到生成的可执行文件。可以将这个可执行文件拷贝。在不替换原有代码的情况下，应对数据库软件的升级）到其他机器上（即使该机器没有安装 Python。数据框架，用于保存从数据库中读取的数据）的工具，通过这个工具，就可以。上面命令执行失败：执行该命令。完成打包后，会在当前目录的。）修改为清华大学的镜像源。有完整的读取数据的工具，是知名的数据分析工具，
C++学习笔记----2、使用C++进行优雅编程（十）---- 格式化
weixin_71738303的博客
08-14 761
许多人因为编程风格的问题被搞得焦头烂额，就因为对于在if中使用几个空格争论不休，导致友谊的小船说翻就翻。如果公司有相应的编程规范，只能说你比较幸运。因为有可能你不喜欢这些规范，但做为一个正常人来讲，至少有规范可循，而不用因为这些东东而陷于无谓的争执之中。如果确实没有编程规范，我建议还是建立这样的编程规范为好，编程规范可以让大家使用统一的命名方式，格式化的规则等等，使代码统一化，易于阅读和理解。当然了，也有一些自动化工具，在将代码提交到版本控制系统之前，依据特定的规则进行格式化。
代码实现使用这个模型类后端实现评论功能：class Comment(db.Model): """ 文章评论 """ tablename = 'news_comment' class STATUS: UNREVIEWED = 0 # 待审核 APPROVED = 1 # 审核通过 FAILED = 2 # 审核失败 DELETED = 3 # 已删除 cmid = db.Column(db.Integer, primary_key=True, doc='评论ID') user_id = db.Column(db.Integer, db.ForeignKey('user_basic.uid'), doc='用户ID') article_id = db.Column(db.Integer, db.ForeignKey('news_basic.nid'), doc='文章ID') parent_id = db.Column(db.Integer, db.ForeignKey('news_comment.cmid'), doc='被评论的评论id') like_count = db.Column(db.Integer, default=0, doc='点赞数') reply_count = db.Column(db.Integer, default=0, doc='回复数') content = db.Column(db.String(128), doc='评论内容') is_top = db.Column(db.Boolean, default=False, doc='是否置顶') status = db.Column(db.Integer, default=1, doc='评论状态') ctime = db.Column(db.DateTime, default=datetime.now, doc='创建时间')
05-24
这段代码实现了一个评论功能，使用了 Flask 框架的 ORM 库 SQLAlchemy 来操作数据库。该评论表包含了评论的各种属性，如评论 ID，用户 ID，文章 ID，评论内容等。...status 字段表示评论状态，包括待审核、审核通过、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值