【弱监督语义分割论文阅读】MIL-FCN：全卷积多类多实例学习

最新推荐文章于 2024-05-31 22:39:41 发布
最新推荐文章于 2024-05-31 22:39:41 发布
阅读量187 收藏
点赞数
文章标签： 论文阅读 深度学习 神经网络 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/w_zyth/article/details/134057737
版权

【论文阅读】MIL-FCN：全卷积多类多实例学习

文章目录


多实例学习(MIL)可以通过削弱所需的监督程度来减少对语义分割等任务中昂贵的注释的需求

提出了一种新的基于全卷积网络的多类语义分割学习的MIL公式
  

试图从弱图像级标签中学习语义分割模型

  • 端到端训练，以共同优化表示

  • 消除像素图像标签分配的歧义

通过PASCAL VOC分割挑战的初步实验来评估这种方法

  

一、介绍

卷积网络在许多计算机视觉任务上取得了最先进的性能，但需要昂贵的监督

卷积神经网络同样可以处理具有结构化输出的局部任务

  

全卷积网络(FCN)的多实例学习(MIL)的新框架

表示对象存在或不存在的弱图像级标签中学习像素级语义分割

  

该工作的核心是通过多实例学习驱动卷积神经网络表示和像素分类器的联合学习

为了从图像标签中学习分割模型，我们将每张图像转换为一个像素级的实例

MIL可以减少对边界框注释的需求

  

相应的工作：

  • Oquab等人(2014)通过推断潜在目标位置来改进图像分类，但没有评估定位
  • Hoffman等人(2014)通过MIL微调进行训练，但依赖于边界盒监督和表示学习建议

  

大部分工作学习边界信息
  

贡献：

  • 全卷积网络中联合MIL和端到端表示学习
  • 受二进制MIL场景启发的多类像素级损失
  • 像素级的一致性线索有助于消除物体存在的歧义

  

二、MIL-FCN

  
全卷积网络(FCN)是一种为空间预测问题而设计的模型

FCN可以接受任何尺寸的输入，并产生相应尺寸的输出。

弱监督MIL学习，FCN允许有效地选择训练实例

  

下面的MIL的演示图

在这里插入图片描述
  
FCN预测所有像素的输出映射，并对所有像素有相应的损失映射。这个损失图可以被屏蔽、重新加权或以其他方式操纵
  
VGG16层网络，并将其转换为完全卷积形式

该网络从预训练的ILSVRC分类器权重进行微调，即预训练以预测图像级标签

  
  
语义分割需要一个背景类，而分类任务没有;我们简单地将背景分类器的权重初始化为零。

  

三、多类MIL loss

多类MIL损失定义为在最大预测下计算的多类逻辑损失

这种选择是由FCN生成的输出图启用的

图像和背景中存在的类的粗略热图中识别最大评分像素。FCN只在这些粗点上计算损失，并通过网络反向传播
  

在这里插入图片描述

  
  

忽略所有非最大得分点的损失是避免FCN学习偏向背景的关键

同时训练利用多标签图像通过类间混淆，以帮助提高类内像素精度
  

还原回原始尺寸大小：

  • MIL-FCN在粗预测的每个点上取顶级预测
  • 并对图像分辨率进行双线性插值
  • 得到逐像素分割

  

四、实验

所有的结果都是关于PASCAL VOC分割挑战

  
每个类被定义为在ground truth分割掩码的交集中像素的百分比，以及在它们的联合中像素数量的预测掩码

  

具体操作：

  • MIL- fcn模型从16层VGG ILSVRC14分类器初始化
  • MIL损失进行微调
  • 传递PASCAL和ILSVRC共同的类的输出层参数改善结果

  

实验结果：

在这里插入图片描述

川川子溢
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
shot-boundary-detection-by-fcn:全卷积网络镜头边界检测（视频分类）
05-15
fcn的镜头边界检测 全卷积网络镜头边界检测（视频分类）。 还有更多文件要组织。
ctmatlab代码-3D-2D-FCN:用于医学器官（例如肝脏）分割的3D-2D全卷积网络
05-27
ct Matlab代码用于医学器官（例如肝脏）分割的3D到2D完全卷积网络。 此处提供了与腹部CT扫描中的肝分割相关的代码。 3D-2D-FCN [1]是在“ caffe”框架上实现的； 因此，您的系统需要“ caffe”框架作为运行此项目的先决条件。 您可以按照以下步骤操作： 首先，从（仅30张火车图像及其标签）下载腹部CT扫描。 这些文件具有.nii扩展名，如果已压缩，则将其解压缩。 将其命名为压缩名称以保留其顺序（img0001.nii.gz-> img0001.nii）。 您最好将所有.nii扫描都更改为.mat以使其轻松使用，只需在每次要调查扫描时将其加载到matlab中即可（例如，使用imshow3D.m显示它们，再次进行增强和保存等），为此，我提供了一个代码，用于将.nii转换为.mat并显示imshow3D.m的扫描。 其次，在matlab中运行“ CreateDataBaseFCN3D2.m”以加载数据集并以hd5格式创建数据集，以准备进行网络培训。 如果要根据代码样式从文件夹加载扫描，请更改代码的第一部分。 第三，运行“ TrainModel.py”以在python
pytorch-fcn：完全卷积网络的PyTorch实现。 （可提供重现原始结果的训练代码。）
02-05
pytorch-fcn PyTorch实现。 要求 > = 0.2.0 > = 0.1.8 > = 6.1.5 安装 git clone https://github.com/wkentaro/pytorch-fcn.git cd pytorch-fcn pip install . # or pip install torchfcn 训练 参见。 准确性 在10fdec9 。 模型 实作 时代 迭代 平均IU 预训练模型 FCN32 -- -- 63.63 FCN32 我们的 11 96000 62.84 FCN16 -- -- 65.01 FCN16 我们的
颜色分类leetcode-image-segmentation-fcn:在TensorFlow中使用全卷积神经网络进行语义图像分割
07-06
颜色分类leetcode 使用全卷积神经网络的语义图像分割 概述 该存储库中的程序训练并使用完全卷积神经网络来获取图像并对其像素进行分类。 该网络使用 Jonathan Long 等人描述的方法基于 VGG-16 模型进行转移训练。 该软件是通用的，可以轻松扩展到任何数据集，尽管到目前为止我只尝试过道路数据集和数据集。 引入新数据集所需要做的就是创建一个定义数据集的新source_xxxxxx.py文件。 定义是一个包含七个属性的类： image_size - 不言而喻，水平和垂直维度都需要被32整除 num_classes - 模型应该处理的类数 label_colors - 将类号映射到颜色的字典； 用于将分类结果与输入图像混合 num_training - 训练样本的数量 num_validation - 验证样本的数量 train_generator - 生成训练批次的生成器 valid_generator - 生成验证批次的生成器 有关具体示例，请参阅source_kitti.py或source_cityscapes.py 。 训练器根据--data-source参数的值选择
[论文笔记]Seed,Expend and Constrain
静如脱兔(⋌▀¯▀)=☞动如脱兔的博客
05-16 277
SEC论文笔记AbstractIntroductionRelated Work方法概述比较Proposed Method损失函数Experiments二级目录三级目录 Abstract 基于三个指导原则提出新的损失函数 (1) 将较弱的定位线索作为种子 (2) 基于图像中的类别信息扩展目标区域 (3) 根据目标轮廓限制分割预测的边界 通过对比试验进一步指出所提损失函数对分割性能的影响以及今后工作的一些切入点 Introduction 文章按如下3个切入点来设计混合的损失函数： 分类网络如VGG、Ale
【综述笔记】一些弱监督语义分割论文
idol24的博客
04-23 3695
点击上方“机器学习与生成对抗网络”，关注"星标"获取有趣、好玩的前沿干货！这里的弱监督信息为image-level的类别信息，即没有像素级的语义分割标签，而仅有图像级的类...
综述笔记 | 一些弱监督语义分割论文
AI算法修炼营的博客
04-23 3396
点击上方“AI算法修炼营”，选择加星标或“置顶”标题以下，全是干货这里的弱监督信息为image-level的类别信息，即没有像素级的语义分割标签，而仅有图像级的类别标签，即知道每张图里有...
第十四章：通过迭代挖掘共同物体特征的弱监督语义分割
ADICDFHL的博客
07-28 187
在图像标签监督下进行弱监督语义分割是一项具有挑战性的任务，因为它直接将高层语义与低层外观相关联。为了弥合这一差距，本文提出了一种迭代的自底向上和自顶向下的框架，交替扩展对象区域和优化分割网络。我们从分类网络产生的初始定位开始。虽然分类网络只对较小和粗糙的有区别的对象区域敏感，但我们认为这些区域包含了关于对象的重要共同特征。因此，在自底向上的步骤中，我们从初始定位中挖掘共同的物体特征，并利用这些特征扩展对象区域。为了补充非有区别的区域，我们在贝叶斯框架下考虑显著性图来细化对象区域。
MLSTM-FCN：用于时间序列分类的多元LSTM全卷积网络
02-06
MLSTM FCN模型（来自 FCN）使用最新的单变量时间序列模型（来自的最新的单变量时间序列模型，LSTM-FCN和ALSTM-FCN来增强挤压和激励块。 对于LSTM-FCN和ALSTM-FCN模型的代码可以在这里找到 。 安装 下载存储库并应用...
图像语义分割系列论文阅读笔记一
qq_39872699的博客
12-10 837
图像语义分割系列论文阅读笔记一 A review of semantic segmentation using deep neural networks 文章目录图像语义分割系列论文阅读笔记一A review of semantic segmentation using deep neural networks摘要一、Introduction二、Region-based semantic segmentationPipeline: segmentation using recognition代表方法 Reg
语义分割综述解读--主流方法篇
qq_35929347的博客
03-22 4219
论文：Survey on semantic segmentation using deep learning techniques 论文地址：https://www.sciencedirect.com/science/article/abs/pii/S092523121930181X 最近在了解语义分割相关方法，这篇综述原文十分的详细，将目前使用深度学习技术进行语义分割的主流方法分成10类进行阐述...
Real-world Anomaly Detection in Surveillance Videos【CVPR 2018】（首次引入MIL）
weixin_43889476的博客
11-21 922
监控视频中的真实世界异常检测
第三章：Seed,Expand and Constrain:——种子、扩展和约束：弱监督图像分割的三个原则
ADICDFHL的博客
07-26 259
我们提出了一种新的损失函数，用于在仅有图像级标签的情况下训练深度分割网络。我们证明，在相同的实验条件下，我们的方法在性能上明显优于先前的最先进方法，并提供了详细的消融研究。我们还确定了一些潜在的方向，可以进一步改善弱监督分割性能。我们的实验表明，对目标大小的了解可以显著提高分割性能。SEC通过衰减参数很容易地整合了大小信息，但自动估计目标大小的方法将是可取的。改进性能的第二种方式是更强的分割先验，例如关于形状或材料的先验信息。
《论文阅读》具有人格自适应注意的个性化对话生成 AAAI 2023
MyHeartWillGoOn
05-29 78
亲身阅读感受分享，细节画图解释，再也不用担心看不懂论文啦~无抄袭，无复制，纯手工敲击键盘~今天为大家带来的是《Personalized Dialogue Generation with Persona-Adaptive Attention》出版：AAAI时间：2023类型：个性化对话生成特点：个性化；多样性；回复生成；个性化适应性注意力作者：Qiushi Huang第一作者机构：University of Surrey。
[论文笔记]SELF-INSTRUCT
日积月累，天道酬勤
05-27 769
作者提出了SELF-INSTRUCT，一种通过利用预训练语言模型自我生成来改进模型遵循指令能力的框架。首先从语言模型中生成指令、输入和输出样本，然后过滤无效或相似的样本。最后微调原始模型。
Fully Convolutional Networks for Semantic Segmentation--论文笔记
最新发布
dezwb的博客
05-31 634
卷积网络是强大的视觉模型，可以产生特征层次结构。我们表明，卷积网络本身，经过端到端，像素对像素的训练，在语义分割方面超过了最先进的技术。我们的关键见解是建立“完全卷积”网络，该网络可以接受任意大小的输入，并通过有效的推理和学习产生相应大小的输出。我们定义和详细描述了全卷积网络的空间，解释了它们在空间密集预测任务中的应用，并绘制了与先前模型的连接。我们将当代分类网络(AlexNet ， VGG网络和GoogLeNet)改编为全卷积网络，并通过微调将其学习到的表征转移到分割任务中。
论文阅读：Correcting Motion Distortion for LIDAR HD-Map Localization
qq_53589322的博客
05-29 829
现在考虑三 种情况，一种情况是传感器在扫描期间保持静止（以 标记为 a 的姿势开始和结束），第二种情况其中传感器进行纯平移（从 a 开始并在 b 结束）， 第三种情况是传感器同时进行平移和旋转（从 a 开 始并在 c 结束）。通过在现实世界数据上进行实验，本文证明了VICET比传统的NDT和ICP提高了精度，降低了地图匹配的平移偏差（从6.9cm降低到0.27cm，降低了一个数量级），同时减少了一个sigma变化（从5.4cm到2.6cm）。然后，利用扩展的NDT算法，同时优化刚性变换和运动失真参数。
《KAN》论文笔记
Zssss12的博客
05-28 846
受 Kolmogorov-Arnold 表示定理的启发，我们提出了 KolmogorovArnold Networks (KANs) 作为多层感知器 (MLP) 的有前途的替代方案。虽然 MLP 在节点（“神经元”）上具有固定激活函数，但 KAN 在边上（“权重”）具有可学习的激活函数。KAN 根本没有线性权重——每个权重参数都被参数化为样条的单变量函数所取代。我们表明，这种看似简单的变化使得 KAN 在准确性和可解释性方面优于 MLP。对于准确性，在数据拟合和 PDE 求解中，较小。
多通道输入LSTM-FCN
04-24
多通道输入LSTM-FCN是一种用于时间序列数据处理的深度学习模型。它结合了长短期记忆网络（LSTM）和一维卷积神经网络（FCN）的特点，能够有效地捕捉时间序列数据中的时序信息和局特征。 在多通道输入LSTMFCN中，输入数据通常包含多个时间序列信号，每个信号都被视为一个通道。模型首先通过LSTM层对每个通道进行建模，LSTM层能够学习并记忆长期依赖关系。然后，通过一维卷积神经网络（FCN）对每个通道的输出进行特征提取。FCN通过一系列的卷积和池化操作，能够有效地捕捉时间序列数据中的局部特征。最后，将各个通道的特征进行融合，并通过全连接层进行分类或回归等任务。 多通道输入LSTM-FCN模型的优势在于能够同时考虑多个时间序列信号的时序信息和局部特征，从而提高了模型对时间序列数据的建模能力。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值