点击下方卡片,关注“CVer”公众号
AI/CV重磅干货,第一时间送达
点击进入—> CV 微信技术交流群
转载自:咚咚学AI
论文标题:LABEL-EFFICIENT SEMANTIC SEGMENTATION WITH DIFFUSION MODELS
论文地址:https://arxiv.org/abs/2112.03126.
论文代码:https://github.com/yandex-research/ddpm-segmentation
![a1a0112c40fbacea7804bd1560a639c7.png](https://i-blog.csdnimg.cn/blog_migrate/55e5763c36360efe16bbbe39bbf67a4f.png)
摘要
背景介绍:去噪扩散概率模型DDPM最近受到了很多研究关注,因为它们优于其他方法,如GAN,并且目前提供了最先进的生成性能。差分融合模型的优异性能使其在修复、超分辨率和语义编辑等应用中成为一个很有吸引力的工具。
研究方法:作者为了证明扩散模型也可以作为语义分割的工具,特别是在标记数据稀缺的情况下。对于几个预先训练的扩散模型,作者研究了网络中执行逆扩散过程马尔可夫步骤的中间激活。结果表明这些激活有效地从输入图像中捕获语义信息,并且似乎是分割问题的出色像素级表示。基于这些观察结果,作者描述了一种简单的分割方法,即使只提供了少量的训练图像也可以使用。
实验结果:提出的算法在多个数据集上显著优于现有的替代方法。
算法
![ed7c00025c198afe030c041d0c62d05d.png](https://i-blog.csdnimg.cn/blog_migrate/4489468cb0a873f790421e2349332268.png)
首先,简要概述DDPM框架。然后,我们描述了如何使用DDPM提取特征,并研究这些特征可能捕获的语义信息。
背景: 扩散模型逐渐降低噪声从到来吧噪声∼N(0,I)传递给数据样本,从而得到了一个正向扩散过程:
![dd0579c65aa852c3f40d5c45161cb9c4.png](https://i-blog.csdnimg.cn/blog_migrate/4f9629fc783afde7bfee3f59db40553d.png)
重要的是,噪声样本可以直接从数据中获得的:
![5f0773fe78b14cbe5c89094473ca3404.png](https://i-blog.csdnimg.cn/blog_migrate/e41f434b3556fe8fa873a5feacc6fc55.png)
预训练DDPM近似于一个反向过程:
![9cd672e31a803266bc00d0ae95322a24.png](https://i-blog.csdnimg.cn/blog_migrate/404a80d98a0452a1b6cb48a4c35f0fbe.png)
实际上,噪声预测网络不是预测 方程(3)中分布的平均值,而是预测步骤t处的噪声分量;然后,平均值是该噪声分量与的线性组合。协方差预测器θ(,)可以是固定的标量协方差集,也可以是学习的(后者被证明可以提高模型质量(Nichol,2021))。
特征提取: 对于给定的真实图像,可以从噪声预测网络计算激活张量的集合T。一个时间步长t的总体方案如图1所示。
首先,通过根据方程(2)添加高斯噪声来破坏。噪声作为由UNet模型参数化的θ(xt,t)的输入。然后使用双线性插值将UNet的中间激活上采样到H×W。
表征分析
作者分析了噪声预测器θ(xt,t)对不同 t 产生的表示。考虑了在LSUN Horse和FFHQ-256数据集上训练的最先进的DDPM checkpoints。
来自噪声预测器的中间激活捕获语义信息:对于这个实验,从LSUN Horse和FFHQ数据集中获取了一些图像,并分别手动将每个像素分配给21和34个语义类中的一个。目标是了解DDPM生成的像素级表示是否有效地捕获了有关语义的信息。为此,训练多层感知器(MLP),以根据特定扩散步骤t上18个UNet解码器块中的一个生成的特征来预测像素语义标签。请注意,只考虑解码器激活图,因为它们还通过跳跃连接聚合编码器激活图。MLP在20张图片上接受训练,并在20张图片上进行评估。预测性能以平均IoU衡量。
![53f481b63e08b6cd9412a1b9295a1835.png](https://i-blog.csdnimg.cn/blog_migrate/2ee638cfed644d5a50e1508ef29dcf2c.png)
图2显示了不同解码块和扩散步骤t的预测性能演变。解码块从深到浅依次编号。图2显示了噪声预测器θ(xt,t)产生特征的IoU随不同的块和扩散步骤而变化。特别是,对应于反向扩散过程后续步骤的特征通常更有效地捕获语义信息。相比之下,早期步骤相对应的特征通常没有什么信息。在不同的解码块中,UNet解码器中间层产生的特征似乎是所有扩散步骤中信息最丰富的。
![b36ee8742dfe930f80677c0e57b228d6.png](https://i-blog.csdnimg.cn/blog_migrate/ea6cb2ca9608dd76392b06b47c6a104c.png)
此外,根据标注数据集中的目标的平均面积分别考虑小型和大型语义类。然后,独立评估不同UNet解码块和扩散步骤中这些类的平均IoU。LSUN Horse的结果如图3所示。正如预期的那样,在相反的过程中,大型对象的预测性能开始提前增长。对于较小的对象,浅层解码块的信息量更大,而对于较大的对象,深层解码块的信息更大。在这两种情况下,最有区别的特征仍然对应于中间块。
![4ea1a453bcbb77495c489a400a7b15aa.png](https://i-blog.csdnimg.cn/blog_migrate/db1db09aedc8f95cf3d2a5681f15ca5f.png)
图4显示了由FFHQ checkpoint从扩散步骤{50,200,400,600,800}的解码块{6,8,10,12}中提取的特征形成的k-means聚类(k=5),并确认聚类可以跨越连贯的语义对象和对象部分。在块B=6中,特征对应于粗糙的语义掩码。在另一个极端,B=12的特征可以区分细粒度的面部部位,但对于粗碎片来说,语义意义较小。在不同的扩散步骤中,最有意义的特征对应于后面的步骤。
将这种行为归因于这样一个事实,即在反向过程的早期步骤中,DDPM样本的全局结构尚未出现,因此,在这个阶段几乎不可能预测分段掩码。图4中的掩码定性地证实了这种直觉。对于t=800,掩码很难反映实际图像的内容,而对于较小的t值,掩码和图像在语义上是一致的。
基于DDPM的few-shot语义分割
上述观察到的中间DDPM激活的潜在有效性表明,它们可以被用作密集预测任务的图像表示。图1展示了整体图像分割方法,该方法利用了这些代表的可辨别性。更详细地说,当存在大量未标记图像{X1,…,XN}⊂时,考虑了few-shot半监督设置。
第一步,以无监督的方式对整个{X1,…,XN}训练扩散模型。然后使用该扩散模型提取标记图像的像素级表示。在本工作中,使用UNet解码器中间块B={5,6,7,8,12}的表示,以及反向扩散过程的步骤t={50,150,250}。
实验
![c16d70b691eecc9455eaf7293401144b.png](https://i-blog.csdnimg.cn/blog_migrate/80771ebdb7e4ee34acac5e5a1d24ca09.png)
![660fddcf84c818568d1d7591097d5795.png](https://i-blog.csdnimg.cn/blog_migrate/86bb7af5695b1d121dfa5ec38614ed1f.png)
![1cde8a7243f25993be36d26c56b3e7f1.png](https://i-blog.csdnimg.cn/blog_migrate/ac5a592ea531208bc5b03e85f17440fc.png)
点击进入—> CV 微信技术交流群
CVPR/ECCV 2022论文和代码下载
后台回复:CVPR2022,即可下载CVPR 2022论文和代码开源的论文合集
后台回复:ECCV2022,即可下载CVPR 2022论文和代码开源的论文合集
后台回复:Transformer综述,即可下载最新的3篇Transformer综述PDF
图像分割交流群成立
扫描下方二维码,或者添加微信:CVer222,即可添加CVer小助手微信,便可申请加入CVer-图像分割 微信交流群。另外其他垂直方向已涵盖:目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注:研究方向+地点+学校/公司+昵称(如图像分割+上海+上交+卡卡),根据格式备注,可更快被通过且邀请进群
▲扫码或加微信号: CVer222,进交流群
CVer学术交流群(知识星球)来了!想要了解最新最快最好的CV/DL/ML论文速递、优质开源项目、学习教程和实战训练等资料,欢迎扫描下方二维码,加入CVer学术交流群,已汇集数千人!
▲扫码进群
▲点击上方卡片,关注CVer公众号
整理不易,请点赞和在看