文章目录
- 1. click & scribble
- 《Interactive graph cuts for optimal boundary & region segmentation of objects in N-D images》，ICCV 2001
- 《Interactive Image Segmentation Using an Adaptive GMMRF Model》，ECCV 2004
- 《Interactive graph cut based segmentation with shape priors》，CVPR 2005
- 《"GrowCut" - Interactive multi-label N-D image segmentation by cellular automata》2005
- 《Random walks for image segmentation》，TPAMI 2006
- 《Interactive image segmentation via minimization of quadratic energies on directed graphs》，CVPR 2008
- 《Hands-free interactive image segmentation using eyegaze》，2009
- 《Interactive level set segmentation for image-guided therapy》，ISBI 2009
- 《Geodesic star convexity for interactive image segmentation》，CVPR 2010
- 《Nonparametric higher-order learning for interactive segmentation》，CVPR 2010
- 《Geodesic graph cut for interactive image segmentation》，CVPR 2010
- 《User-friendly interactive image segmentation through unified combinatorial user inputs》，2010
- 《Accurate binary image selection from inaccurate user input》，Computer Graphics Forum 2013
- 《Image foresting transform with geodesic star convexity for interactive image segmentation》，ICIP 2013
- 《Error-tolerant scribbles based interactive image segmentation》,CVPR 2014
- 《Hybrid approaches for interactive image segmentation using the live markers paradigm》，TIP 2014
- 《An effective interactive medical image segmentation method using fast growcut》，MICCAI 2014
- 《Deep Interactive Object Selection》，CVPR 2016
- 《What’s the Point: Semantic Segmentation with Point Supervision》，ECCV 2016
- 《ScribbleSup: Scribble-Supervised Convolutional Networks for Semantic Segmentation》，CVPR 2016
- 《Simpler editing of graph-based segmentation hierarchies using zipping algorithms》，2017
- 《A Geodesic Framework for Fast Interactive Image and Video Segmentation and Matting》，ICCV 2017
- 《Deep interactive region segmentation and captioning》，CVPR 2017
- 《Regional Interactive Image Segmentation Networks》，ICCV 2017
- 《UI-Net: Interactive Artificial Neural Networks for Iterative Image Segmentation Based on a User Model》，CVPR 2017
- 《Regional interactive image segmentation networks》，ICCV 2017
- 《Radial Basis Function Interpolation for Rapid Interactive Segmentation of 3D Medical Images》，2017
- 《A fully convolutional two-stream fusion network for interactive image segmentation》，CVPR 2018
- 《Iterative Interaction Training for Segmentation Editing Network》，CVPR 2018
- 《Efficient Interactive Multi-Object Segmentation in Medical Images》，ECCV 2018
- 《Interactive Binary Image Segmentation with Edge Preservation》，CVPR 2018
- 《Scale-aware multi-level guidance for interactive instance segmentation》，CVPR 2018
- 《SwipeCut: Interactive Segmentation with Diversified Seed Proposals》，CVPR 2018
- 《Interactive Image Segmentation With Latent Diversity》，CVPR 2018
- 《Deep extreme cut: From extreme points to object segmentation》，CVPR 2018
- 《Interactive Medical Image Segmentation via Point-Based Interaction and Sequential Patch Learning》， CVPR 2018
- 《Iteratively trained interactive segmentation》，CVPR 2018
- 《Interactive medical image segmentation using deep learning with image-specific fine-tuning》，TMI 2018
- 《DeepIGeoS: a deep interactive geodesic framework for medical image segmentation》，PAMI 2018
- 《Large-scale interactive object segmentation with human annotators》，CVPR 2019
- 《Fast User-Guided Video Object Segmentation by Interaction-and-Propagation Networks》，CVPR 2019
- 《Interactive Full Image Segmentation by Considering All Regions Jointly》，CVPR 2019
- 《Interactive Image Segmentation via Backpropagating Refinement Scheme》，CVPR 2019
- 《Interactive segmentation of medical images through fully convolutional neural networks》，CVPR 2019
- 《Probabilistic Diffusion for Interactive Image Segmentation》，TIP 2019
- 《Interactive Image Segmentation using Label Propagation through Complex Networks》，2019
- 《Interactive Full Image Segmentation by Considering All Regions Jointly》，CVPR 2019
- 《Click Carving: Interactive Object Segmentation in Images and Videos with Point Clicks》，2019
- 《Content-Aware Multi-Level Guidance for Interactive Instance Segmentation》，CVPR 2019
- 《Object Instance Annotation With Deep Extreme Level Set Evolution》，CVPR 2019
- 2. control points
- 《Active spline model: a shape based model interactive segmentation》，2014
- 《Rapid Interactive and Intuitive Segmentation of 3D Medical Images Using Radial Basis Function Interpolation》，2017
- 《Annotating object instances with a polygon-rnn》，CVPR 2017
- 《Efficient interactive annotation of segmentation datasets with polygon-rnn++》，CVPR 2018
- 《Fast Interactive Object Annotation with Curve-GCN》，CVPR 2019
- 3. bounding box
- 《Grabcut: Interactive foreground extraction using iterated graph cuts》，2004
- 《Image segmentation with a bounding box prior》，ICCV 2009
- 《Foreground segmentation for static video via multi-core and multi-modal graph cut》，ICME 2009
- 《MILCut: A Sweeping Line Multiple Instance Learning Paradigm for Interactive Image Segmentation》，CVPR 2014
- 《LooseCut: Interactive Image Segmentation with Loosely Bounded Boxes》，CVPR 2015
- 《Deep grabcut for object selection》，CVPR 2017
- 《Extreme clicking for efficient object annotation》，ICCV 2017
- 4. user guide
- 5. scribble guidance
- 6. coutour-based
- 7. content-based
- 8. 其他
- 《Guiding Image Segmentation on the Fly: Interactive Segmentation From a Feedback Control Perspective》，IEEE 2018
- 《Interactive medical image segmentation using PDE control of active contours》，IEEE 2013
- 《Active Learning for Interactive Segmentation with Expected Confidence Change》，2013
- 《SeedNet: Automatic seed generation with deep reinforcement learning for robust interactive segmentation》，CVPR 2018
- 《Probabilistic Diffusion for Interactive Image Segmentation》，TIP 2019
- 《Random Walks for Interactive Organ Segmentation in Two and Three Dimensions: Implementation and Validation》
- 《Carving: Scalable Interactive Segmentation of Neural Volume Electron Microscopy Images》，MICCAI 2011
- 《Interactive Whole-Heart Segmentation in Congenital Heart Disease》，MICCAI 2015
- 8. Survey & Tools
- 《Interaction in the segmentation of medical images: A survey》，2001
- 《Smart Paint – A New Interactive Segmentation Method Applied to MR Prostate Segmentation》，2012
- 《Smart brush: A real time segmentation tool for 3D medical images》，2013
- 《User-Guided Segmentation of Multi-modality Medical Imaging Datasets with ITK-SNAP》，2018
1. click & scribble
《Interactive graph cuts for optimal boundary & region segmentation of objects in N-D images》，ICCV 2001
论文地址：https://ieeexplore.ieee.org/document/937505
作者：Boykov, Y. Y., & Jolly, M. P
被引量：4519（2019/6）
交互方法：scribbles
代码：PyMaxflow：Python library for creating flow networks and computing the maxflow/mincut (aka graph-cuts for Python)
概览：该方法基于 graph cut，由用户提供 seed 作为 hard constrains，得到初始的分割结果，接着可以继续添加或改变seed，分割结果就会继续根据当前的seed进行调整。
《Interactive Image Segmentation Using an Adaptive GMMRF Model》，ECCV 2004
论文地址：http://wwwpub.zih.tu-dresden.de/~cvweb/publications/papers/2004/eccv04-GMMRF.pdf
被引量：703（2019/6）
作者：Andrew BlakeCarsten RotherM. BrownPatrick PerezPhilip Torr
交互方法：Scribbles
《Interactive graph cut based segmentation with shape priors》，CVPR 2005
论文地址：https://ieeexplore.ieee.org/abstract/document/1467344
被引量：479（2019/6）
作者：D. Freedman ; Tao Zhang
交互方法：Clicks
概览： 基于 Graph cuts，可用于医学图像
《“GrowCut” - Interactive multi-label N-D image segmentation by cellular automata》2005
论文地址：http://citeseerx.ist.psu.edu/viewdoc/download
作者：V. Vezhnevets and V. Konushin
被引量：512（2019/6）
交互方法：
代码：Grow-Cut Image Segmentation
概览：用于n维（n≥1）的交互式、多标签图像分割，而且用户可以任何时间做出交互，可用于自然图像和医学图像。
《Random walks for image segmentation》，TPAMI 2006
论文地址：https://ieeexplore.ieee.org/document/1704833
作者：L. Grady
被引量：2292（2019/6）
交互方法：scribbe
《Interactive image segmentation via minimization of quadratic energies on directed graphs》，CVPR 2008
论文地址：https://ieeexplore.ieee.org/abstract/document/4587485
作者：Singaraju, D., Grady, L., Vidal, R.
被引量：35（2019/6）
交互方法：scribbles
概览：提出在 Random Walker 算法中引入方向性的图像分割方法，用户给出交互点，得出分割结果
《Hands-free interactive image segmentation using eyegaze》，2009
论文地址：http://www.sfu.ca/skinimaging/Maryam%20Sadeghi-SPIE2009_eyegaze.pdf
作者：M. Sadeghi, G. Tien, G. Hamarneh, and M. S. Atkins
交互方法：用眼睛凝视的 click
《Interactive level set segmentation for image-guided therapy》，ISBI 2009
论文地址：https://ieeexplore.ieee.org/document/5193243
作者：N. Ben-Zadok, T. Riklin-Raviv, and N. Kiryati
被引量：33（2019/6）
交互方法：Clicks
概览：分割由两个阶段组成，首先通过通过梯度下降最小化基于图像数据的 cost 获得初始的自动分割结果。然后用户可以提供关于初始分割的修正（click）。用户输入作为能量项，影响梯度下降过程，将其吸引到新的局部最小值。
《Geodesic star convexity for interactive image segmentation》，CVPR 2010
论文地址：https://ieeexplore.ieee.org/document/5540073
作者：Gulshan, V., Rother, C., Criminisi, A., Blake, A., & Zisserman, A
被引量：311（2019/6）
交互方法：scribble
概览：引入交互式分割中的形状约束，基于 Veksler’s star-convexity prior，对两方面进行了扩展：1）single star 到 multiple star；2）Euclidean rays 到 Geodesic paths。在该约束下实现了全局最优解，而且 star convexity constraint 还确保了笔画的连通性。
《Nonparametric higher-order learning for interactive segmentation》，CVPR 2010
论文地址：https://ieeexplore.ieee.org/document/5540078
作者：Tae Hoon Kim, Kyoung Mu Lee, and Sang Uk Lee
被引量：61（2019/6）
交互方法：clicks & scribbles
概览：提出了一种新的高阶公式，并施加了 soft label 一致性约束，使得由分割算法生成的区域像素往往具有相同的标签。
《Geodesic graph cut for interactive image segmentation》，CVPR 2010
论文地址：https://ieeexplore.ieee.org/document/5540079
作者：Price, B., Morse, B., & Cohen, S.
被引量：181（2019/6）
交互方法：scribbles
概览：将测地距离信息和显式边缘信息结合在一个 graph cut 优化框架中，优化分割输出结果。
《User-friendly interactive image segmentation through unified combinatorial user inputs》，2010
论文地址：https://ieeexplore.ieee.org/document/5550481
作者：W. Yang, J. Cai, J. Zheng, and J. Luo
被引量：128（2019/6）
交互方法：scribble/click & bounding？
概览：使用多种用户输入更好地反映用户的意图。提出 constrained random walks algorithm ，它可以使用三种类型的用户输入：
1）前景和背景seed输入：允许用户绘制笔画来指定前景和背景种子
2）软约束输入：允许用户绘制笔画以指示边界应该通过的区域
3）硬约束输入及其组合：允许用户指定边界必须对齐的像素
《Accurate binary image selection from inaccurate user input》，Computer Graphics Forum 2013
论文地址：http://citeseerx.ist.psu.edu/viewdoc/download
作者：Kartic Subr, Sylvain Paris, Cyril Soler, and Jan Kautz
被引量：30（2019/6）
交互方法：scribbles
概览：提出允许用户输入有误差的技术，用一个密集 CRF从可能不准确的输入中推断出一个选择。
《Image foresting transform with geodesic star convexity for interactive image segmentation》，ICIP 2013
论文地址：https://ieeexplore.ieee.org/abstract/document/6738835
作者：Mansilla, L., Jackowski, M., Miranda, P
被引量：13（2019/6）
交互方法：scribble
概览：提出 IFT-SC 算法，能够在速度和精度之间权衡。IFT-SC 建立形状约束以避免误分割，根据 Generalized Graph Cut（ggc）算法提供全局最优分割结果。
《Error-tolerant scribbles based interactive image segmentation》,CVPR 2014
论文地址：https://ieeexplore.ieee.org/document/6909451
作者：Junjie Bai and Xiaodong Wu
被引量：18（2019/6）
交互方法：scribbles
概览：提出了一种新的比值能量函数，该函数在最大限度地利用用户输入信息的同时，能够容忍用户输入信息中的误差。
《Hybrid approaches for interactive image segmentation using the live markers paradigm》，TIP 2014
论文地址：https://ieeexplore.ieee.org/document/6945892
作者：Thiago Vallin Spina et al.
交互方法：Scribble
《An effective interactive medical image segmentation method using fast growcut》，MICCAI 2014
论文地址：http://interactivemedical.org/imic2014
作者：Zhu, L., Kolesov, I., Gao, Y., Kikinis, R., Tannenbaum
被引量：34（2019/6）
交互方法：scribbles
概览：本文将增长问题重新表述为一个基于最短路径的聚类问题，该问题可以用 Dijkstra 算法解决。然而，该方法产生了一个静态问题，改变了增长的动态“性质”，即在运行 Dijkstra 算法时不允许编辑。作为替代引入了自适应 Dijkstra 算法，它只更新被新的输入影响的局部区域。
《Deep Interactive Object Selection》，CVPR 2016
论文地址：https://arxiv.org/abs/1603.04042
作者：Ning Xu, Brian Price, Scott Cohen, Jimei Yang, Thomas Huang
被引量：73（2019/6）
交互方法：scribble & clicks
概览：用户提供 clicks，然后将它们转换成单独的欧氏距离映射，并与图像的RGB通道连接，组成（image，user interactions）pair，FCN 对这些 pair 进行随机采样并修正，最后再用 graph cut 进行优化分割结果。
- positive and negative clicks
- FCN + refinement by Graph Cut
《What’s the Point: Semantic Segmentation with Point Supervision》，ECCV 2016
论文地址：http://calvin.inf.ed.ac.uk/wp-content/uploads/Publications/bearman16eccv.pdf
被引量：
作者：A Bearman et al.
交互方法：Clicks
《ScribbleSup: Scribble-Supervised Convolutional Networks for Semantic Segmentation》，CVPR 2016
论文地址：https://arxiv.org/abs/1604.05144
作者：Di Lin, Jifeng Dai, Jiaya Jia, Kaiming He, Jian Sun
被引量：174（2019/6）
交互方法：scribble
《Simpler editing of graph-based segmentation hierarchies using zipping algorithms》，2017
论文地址：https://www.sciencedirect.com/science/article/pii/S0031320317301590
作者：Golodetz, S., Voiculescu, I., Cameron, S
被引量：4（2019/6）
交互方法：Clicks？？
概览：提出多尺度分割/合并算法，保持空间连通性，将用户交互操作与层次结构联系起来。
《A Geodesic Framework for Fast Interactive Image and Video Segmentation and Matting》，ICCV 2017
论文地址：https://ieeexplore.ieee.org/document/4408931
作者：Bai,X & Sapiro,G
被引量：472（2019/6）
交互方法：scribble
概览：提出基于加权距离的图像和视频分割技术，优势在于只需要非常少的用户交互，通常只需要在前景和背景分别给一个 scribble，而且 geodesic distance 计算所需存储空间少。
《Deep interactive region segmentation and captioning》，CVPR 2017
论文地址：https://arxiv.org/abs/1707.08364
作者：Ali Sharifi Boroujerdi, Maryam Khanian, Michael Breuss
被引量：1（2019/6）
交互方法：Clicks
概览：不同的用户有不同的感兴趣区域，本文提出混合深层网络结构，用于检测、分割以及获取用户偏好，其中用户交互的数量仅限于一次或多次 Click。
《Regional Interactive Image Segmentation Networks》，ICCV 2017
论文地址：https://ieeexplore.ieee.org/abstract/document/8237559
作者：Liew, J. H., Wei, Y., Xiong, W., Ong, S. H., & Feng, J.
被引量：13（2019/6）
交互方法：clicks
概览：提出区域交互式分割网络（RIS-Net），充分利用用户交互信息。通过将每个 click pair 的视野扩展到更大的区域来覆盖目标物体的边缘，RIS-Net 利用区域上下文信息调整分割结果，并提出了 click discount factor 提升训练效率，能够在早期迭代时更快地降低loss。
- click based
- global branch + local regional refinement
《UI-Net: Interactive Artificial Neural Networks for Iterative Image Segmentation Based on a User Model》，CVPR 2017
论文地址：https://arxiv.org/abs/1709.03450
作者：Mario Amrehn, Sven Gaube, Mathias Unberath, Frank Schebesch, Tim Horz, Maddalena Strumia, Stefan Steidl, Markus Kowarschik, Andreas Maier
被引量：7（2019/6）
交互方法：scribbles
概览：经过训练的系统的用户可以迭代地向 FCN 系统中添加 scribbles 更新分割结果。
《Regional interactive image segmentation networks》，ICCV 2017
论文地址：https://ieeexplore.ieee.org/document/8237559
作者：JunHao Liew, Yunchao Wei, Wei Xiong, Sim-Heng Ong, and Jiashi Feng
交互方法：Clicks
《Radial Basis Function Interpolation for Rapid Interactive Segmentation of 3D Medical Images》，2017
论文地址：https://link.springer.com/chapter/10.1007/978-3-319-60964-5_57
作者：Mirshahzadeh, N.; Kurzendorfer, T.; Fischer, P.; Pohl, T.; Brost, A.; Steidl, S.; Maier, A
交互方法：Scribbles
《A fully convolutional two-stream fusion network for interactive image segmentation》，CVPR 2018
论文地址：https://arxiv.org/abs/1807.02480
作者：Yang Hu，Andrea Soltoggio，Russell Lock，Steve Carter
被引量：5（2019/6）
交互方法：Clicks
概览：提出全卷积双流融合网络（fully convolutional two-stream fusion network ，FCTSFN）用于交互式分割，使用两个单独的网络，分别提取图像特征和用户交互信息，然后将两个网络得到的特征进行融合。
《Iterative Interaction Training for Segmentation Editing Network》，CVPR 2018
论文地址：https://arxiv.org/abs/1807.08555
作者：Gustav Bredell, Christine Tanner, Ender Konukoglu
交互方法：Scribbles
《Efficient Interactive Multi-Object Segmentation in Medical Images》，ECCV 2018
论文地址：http://openaccess.thecvf.com/content_ECCVW_2018
作者：Leissi Margarita Casta˜neda Leon and Paulo Andr´e Vechiatto de Miranda
被引量：0（2019/6）
交互方法：scribbles & clicks
概览：提出基于层次图（hierarchical graph-based approach）的医学图像多目标分割方法，将待分割图像、用户给出的seed、目标之间的关系树以及每个目标的优先级输入网络中，得到一个分割结果。该方法基于超像素的自适应（superpixel-based adaptation），优势在于计算成本低。
《Interactive Binary Image Segmentation with Edge Preservation》，CVPR 2018
论文地址：https://arxiv.org/abs/1809.03334
作者：Jianfeng Zhang, Liezhuo Zhang, Yuankai Teng, Xiaoping Zhang, Song Wang, Lili Ju
交互方法：Scribbles
《Scale-aware multi-level guidance for interactive instance segmentation》，CVPR 2018
论文地址：https://arxiv.org/abs/1812.02967
作者：Soumajit Majumder, Angela Yao
被引量：0（2019/6）
交互方法：click
概览：基于 click，改进将 click 转换为 guidance map 的方法。
用户提供的 clicks 一般是转换为 guidance map，但是这种 map 是基于距离的，缺点是过于局部化、信息不足。
本文提出一种新的转换方法，将用户的 clicks 转换为 scale-aware guidance map，这种 map 利用了图像的层次结构信息，解决之前用欧式距离或高斯距离不能考虑到物体尺度信息的问题。
《SwipeCut: Interactive Segmentation with Diversified Seed Proposals》，CVPR 2018
论文地址：https://arxiv.org/abs/1812.07260
作者：Ding-Jie Chen, Hwann-Tzong Chen, Long-Wen Chang
交互方法：Scribbles
《Interactive Image Segmentation With Latent Diversity》，CVPR 2018
论文地址：http://openaccess.thecvf.com/content_cvpr_2018
作者：Zhuwen Li., Qifeng Chen., & Koltun, V.
被引量：10（2019/6）
交互方法：clicks
概览：提出解决多模态问题的体系结构，包括一个全卷积网络，用它来解决不同的问题，比如输入图像和用户的输入，然后产生一些可能的分割结果，然后再由第二个经过训练的网络选择一个分割结果，也就是两个网络一起探索出一个最有可能的分割方案。
- Minimizing the number of clicks
- Multi-modality
- Multiple choice learning
《Deep extreme cut: From extreme points to object segmentation》，CVPR 2018
论文地址：http://openaccess.thecvf.com/content_cvpr_2018
作者：K.-K. Maninis, S. Caelles, J. Pont-Tuset, and L. Van Gool
被引量：40（2019/6）
交互方法：Clicks
代码：Pytorch Deep Extreme Cut (DEXTR)
概览：提出了 DEXTR，用户给出目标物体的4个端点：最左、最右、顶部和底部像素，将这四个点作为 DeepLab 的输入得出分割结果。用户交互的 clicks 被编码为 heat map。
《Interactive Medical Image Segmentation via Point-Based Interaction and Sequential Patch Learning》， CVPR 2018
论文地址：https://arxiv.org/abs/1804.10481
作者：Jinquan Sun, Yinghuan Shi, Yang Gao, Lei Wang, Luping Zhou, Wanqi Yang, Dinggang Shen
交互方法：Clicks
概览： 医学图像交互式分割，仅需点击目标的粗中心点
《Iteratively trained interactive segmentation》，CVPR 2018
论文地址：https://arxiv.org/abs/1805.04398
作者：Sabarinath Mahadevan, Paul Voigtlaender, and Bastian Leibe
交互方法：clicks
《Interactive medical image segmentation using deep learning with image-specific fine-tuning》，TMI 2018
论文地址：https://ieeexplore.ieee.org/abstract/document/8270673
作者：Guotai Wang, Wenqi Li, Maria A Zuluaga, Rosalind Pratt, Premal A Patel, Michael Aertsen, Tom Doel, Anna L David, Jan Deprest, Sébastien Ourselin, et al
交互方法：bounding box & scribbles
《DeepIGeoS: a deep interactive geodesic framework for medical image segmentation》，PAMI 2018
论文地址：https://arxiv.org/abs/1707.00652
作者：Guotai Wang, Maria A. Zuluaga, Wenqi Li, Rosalind Pratt, Premal A. Patel
交互方法：click & scribble
《Large-scale interactive object segmentation with human annotators》，CVPR 2019
论文地址：https://arxiv.org/abs/1903.10830?context=cs.CV
作者：Rodrigo Benenson, Stefan Popov, Vittorio Ferrari
被引量：0（2019/6）
交互方法：clicks（bounding box）
概览：用户不断提供 clicks，不断更新分割结果
《Fast User-Guided Video Object Segmentation by Interaction-and-Propagation Networks》，CVPR 2019
论文地址：https://arxiv.org/abs/1904.09791v1
作者：Seoung Wug Oh, Joon-Young Lee, Ning Xu, Seon Joo Kim
被引量：0（2019/6）
交互方法：scribbles
概览：采用多轮训练策略，让网络学着去理解用户的意图，并在训练过程中更新错误的预测。
提出 Interaction-and-Propagation Networks，包含两个CNN，一个是 interaction network，采用人给的标记（比如scribbles）分割前景，propagation network 将在源帧上计算的 object mask 传递到相邻帧。
两个 CNN 通过特征聚合模块进行内部连接，在外部也有连接，使每个 CNN 都能以对方的输出作为输入。网络内部和外部都是连接的，从而可以进行联合训练。
《Interactive Full Image Segmentation by Considering All Regions Jointly》，CVPR 2019
论文地址：https://arxiv.org/abs/1812.01888
作者：Eirikur Agustsson, Jasper R. R. Uijlings, Vittorio Ferrari
被引量：0（2019/6）
交互方法：bounding box，scribble
概览：给定一个图像，首先标记所有对象和区域上的端点，由端点得到 bounding box，然后网络根据这个端点得出一个初始分割结果，然后用户对错误区域提供 scribbles，网络对分割结果进行修正更新。
《Interactive Image Segmentation via Backpropagating Refinement Scheme》，CVPR 2019
论文地址：https://vcg.seas.harvard.edu/publications/
作者：Won-Dong Jang，Chang-Su Kim
被引量：0（2019/6）
交互方法：scribbles
视频演示demo：https://vcg.seas.harvard.edu/publications
代码：BRS: Interactive image segmentation
概览：测量图像每个像素到用户标记位置的距离，将用户标记转换为交互映射。前向传播输出一个初始的分割结果，再利用反向修正策略（BRS），约束用户标记的位置label正确并修正分割结果
《Interactive segmentation of medical images through fully convolutional neural networks》，CVPR 2019
论文地址：https://arxiv.org/abs/1903.08205
作者：Tomas Sakinis, Fausto Milletari, Holger Roth
交互方法：Clicks
《Probabilistic Diffusion for Interactive Image Segmentation》，TIP 2019
论文地址：http://ieeexplore.ieee.org/document/8453831
作者：Tao Wang ; Jian Yang ; Zexuan Ji ; Quansen Sun
交互方法：Clicks & Scribbles
概览：基于用户的预操作，将分割问题看作概率估计问题。
不直接计算像素与其标签之间的关系，而是估计每一个像素对儿和标签对儿之间的距离
《Interactive Image Segmentation using Label Propagation through Complex Networks》，2019
论文地址：https://www.sciencedirect.com/science/article/pii/S0957417419300314
作者：Fabricio Breve
交互方法：Scribbles
《Interactive Full Image Segmentation by Considering All Regions Jointly》，CVPR 2019
论文地址：http://openaccess.thecvf.com/content_CVPR_2019
被引量：/
作者：Eirikur Agustsson, Jasper R. R. Uijlings, Vittorio Ferrari
交互方法：Control points & Scribbles
《Click Carving: Interactive Object Segmentation in Images and Videos with Point Clicks》，2019
论文地址：https://link.springer.com/article/10.1007/s11263-019-01184-2
被引量：/
作者：Suyog Dutt Jain, Kristen Grauman
交互方法：Clicks
《Content-Aware Multi-Level Guidance for Interactive Instance Segmentation》，CVPR 2019
论文地址：http://openaccess.thecvf.com/content_CVPR_2019
被引量：
作者：Soumajit Majumder, Angela Yao
交互方法：Clicks
《Object Instance Annotation With Deep Extreme Level Set Evolution》，CVPR 2019
论文地址：http://openaccess.thecvf.com/content_CVPR_2019
被引量：2(2019/7)
作者：Zian Wang, David Acuna, Huan Ling, Amlan Kar, Sanja Fidler
交互方法：Clicks
代码：https://github.com/fidler-lab/delse
概览：将 CNN 模型和 Level set Evolution 方法结合，实现端到端训练，网络根据输入图像学习 level set evolution 的参数，并预测一个初始的分割结果。
在分割轮廓上用户做 click，属于基于能量的分割方法【对比 DEXTR，数据集 Cityscapes dataset 和 DAVIS】
目的是解决像素级分类任务无法利用像素间依赖关系的问题，将 level set method 用于目标分割，能够处理具有复杂拓扑结构的对象（比如合并、分裂），达到的效果是闭合分割曲线、准确对齐到目标边界以及保证分割曲线平滑。
基于 level set 方法：
1.使用 weak image gradients 作为观测
2. 将 level sets 作用 CNN 预测结果的后处理
2. control points
《Active spline model: a shape based model interactive segmentation》，2014
论文地址：https://arxiv.org/abs/1402.6387
作者：Jen Hong Tan, U. Rajendra Acharya
被引量：10（2019/6）
交互方法：control points
概览：为实现对分割结果的一部分进行修正，提出 fuse point distribution model 和 centripetal Catmull-
Rom spline (CRS)。
由主点的移动更新部分分割结果：
《Rapid Interactive and Intuitive Segmentation of 3D Medical Images Using Radial Basis Function Interpolation》，2017
论文地址：https://www.mdpi.com/2313-433X/3/4/56
作者：Tanja Kurzendorfer，Peter Fischer
交互方法：Control points
概览：提出新的表面重建函数，其独立于 3D 梯度信息，可以利用从 2D 切片上获得的 2D 和 3D 法向量，从而重建表面。与之前的方法相比，该方法对于高噪声的图像处理较好，因为它不依赖于强度信息。
《Annotating object instances with a polygon-rnn》，CVPR 2017
论文地址：https://arxiv.org/abs/1704.05548
作者：L. Castrejon, K. Kundu, R. Urtasun, and S. Fidler
被引量：51（2019/6）
交互方法：control points
概览：将用户标记看作是循环过程，以图像作为网络输入，顺序地预测出多边形上的点，且允许用户在任意时间做交互，拖动多边形上的点进行修正。
《Efficient interactive annotation of segmentation datasets with polygon-rnn++》，CVPR 2018
论文地址：https://arxiv.org/abs/1803.09693
作者：D. Acuna, H. Ling, A. Kar, and S. Fidler
被引量：36（2019/6）
交互方法：control points
代码：Pytorch PolygonRNN++
概览：利用图神经网络（GCN）和强化学习对之前的工作进行了改进，进一步提升分割精度与速度。
《Fast Interactive Object Annotation with Curve-GCN》，CVPR 2019
论文地址：https://arxiv.org/abs/1903.06874
作者：Huan Ling, Jun Gao, Amlan Kar, Wenzheng Chen, Sanja Fidler
被引量：1（2019/6）
交互方法：control points
概览：将标注作为回归问题，对象表示为具有固定拓扑的图，并使用图卷积网络（GCN）同时预测所有顶点，且模型可以端到端训练。
训练过程：初始化 N 个 control point，让所有点形成一个闭环，然后由 GCN 计算每个 point 到预测点之间的距离，多次迭代以后得到最终的分割结果。另外用户可以拖动标注错误的点，然后相邻的 k 个点也会更新（论文实验中 k 取 2）。
3. bounding box
《Grabcut: Interactive foreground extraction using iterated graph cuts》，2004
论文地址：https://cvg.ethz.ch/teaching/cvl/2012/grabcut-siggraph04.pdf
作者：C. Rother, V. Kolmogorov, and A. Blake
被引量：5602（2019/6）
交互方法：bounding box
《Image segmentation with a bounding box prior》，ICCV 2009
论文地址：https://ieeexplore.ieee.org/document/5459262
作者：Victor Lempitsky, Pushmeet Kohli, Carsten Rother, and Toby Sharp
被引量：339（2019/6）
交互方法：bounding box
《Foreground segmentation for static video via multi-core and multi-modal graph cut》，ICME 2009
论文地址：https://ieeexplore.ieee.org/document/5202756
作者：C. Rother, V. Kolmogorov, and A. Blake
被引量：7（2019/7）
交互方法：bounding box
《MILCut: A Sweeping Line Multiple Instance Learning Paradigm for Interactive Image Segmentation》，CVPR 2014
论文地址：http://ieeexplore.ieee.org/document/6909434
作者：Jiajun Wu, Yibiao Zhao, Jun-Yan Zhu, Siwei Luo, and Zhuowen Tu
被引量：68（2019/6）
交互方法：bounding box
概览：sweeping-line strategy，将图像分割任务看作一个多实例学习问题。
《LooseCut: Interactive Image Segmentation with Loosely Bounded Boxes》，CVPR 2015
论文地址：https://arxiv.org/abs/1507.03060
作者：Hongkai Yu, Youjie Zhou, Hui Qian, Min Xian, Yuewei Lin, Dazhou Guo, Kang Zheng, Kareem Abdelfatah, Song Wang
被引量：15（2019/6）
分割方法：bounding box
概览： 为了解决大多数基于 bounding box 分割算法要求 box 需要紧贴目标物体边界的要求，提出基于宽松 bounding box 的交互式分割方法，并与 GrabCut 进行对比
《Deep grabcut for object selection》，CVPR 2017
论文地址：https://arxiv.org/abs/1707.00243
作者：Ning Xu, Brian Price, Scott Cohen, Jimei Yang, Thomas Huang
被引量：14（2019/6）
分割方法：bounding box
概览：提出一种新的分割方法，将 bounding box 作为软约束，转化为欧式距离图后和待分割图像进行连接，作为 CEDN 的输入，端到端训练得出分割结果。
《Extreme clicking for efficient object annotation》，ICCV 2017
论文地址：https://arxiv.org/abs/1708.02750v1
作者：D. P. Papadopoulos, J. R. Uijlings, F. Keller, and V. Ferrari
被引量：46（2019/6）
交互方法：click（bounding box）
概览：不需要直接绘制 bounding box，仅找目标的四个端点，顶部、底部、最左和最右部分的点，Extreme clicking 不仅可以得到 bounding box 坐标，还可以得到四个精确的边界点。效果不满意可以一直迭代修改。
4. user guide
《Guide Me: Interacting with Deep Networks》，CVPR 2018
论文地址：https://arxiv.org/abs/1803.11544
作者：Christian Rupprecht, Iro Laina, Nassir Navab, Gregory D. Hager, Federico Tombari
被引量：5（2019/6）
交互方法：user guide
概览：之前的方法是由用户修正分割结果，或者基于先验知识在分割前给出预处理。本文想让用户直接与网络进行交互，比如直接告诉网络“左下角的小孩是前景”。
定义一个 空间-语义引导机制，将用户交互转化为网络内部的变化，用户接收初始分割结果并输入指导文本，然后网络返回一个更新后的预测结果。
大多数先前的交互方法将用户置于输入侧，这意味着该方法需要用户输入。相反，在本文的方法中，用户的输入是可选的，意味着网络不依赖于人的交互，而是可以由用户交互来进行参数更新。
该方法的优势在于不依赖于任何显式的标记，它实现了从 natural language domain 到 visual domain 的转化。
5. scribble guidance
《iCoseg: Interactive co-segmentation with intelligent scribble guidance》，CVPR 2010
论文地址：http://citeseerx.ist.psu.edu/viewdoc/download
作者：D. Batra, A. Kowdle, D. Parikh, J. Luo, and T. Chen
被引量：405（2019/6）
交互方法： scribbles 共同分割
概览：相关图像的交互式共分割问题，用户提供来自一个组的一个（或多个）图像上的前景/背景 scribbles，算法利用这些 scribbles 来生成这个组的所有图像的分割结果。
（即让用户决定前景是什么）
6. coutour-based
《An ultra-fast user-steered image segmentation paradigm: Live wire on the fly》，IEEE 2000
论文地址：https://ieeexplore.ieee.org/document/832960
作者：A.X. Falcao ; J.K. Udupa ; F.K. Miyazawa
交互方法：实时连线
《Interactive 3D medical image segmentation with energy-minimizing implicit functions》，2011
论文地址：https://www.sciencedirect.com/science/article/pii/S0097849310001925
作者：F. Heckel, O. Konrad, H. K. Hahn, and H. O. Peitgen
被引量：79（2019/6）
交互方法：coutour-based 基于轮廓
7. content-based
《Content-based Propagation of User Markings for Interactive Segmentation of Patterned Images》，CVPR 2018
论文地址：https://arxiv.org/abs/1809.02226
作者：Vedrana Andersen Dahl, Camilla Himmelstrup Trinderup, Monica Jane Emerson, Anders Bjorholm Dahl
交互方法：基于图像内容
8. 其他
《Guiding Image Segmentation on the Fly: Interactive Segmentation From a Feedback Control Perspective》，IEEE 2018
论文地址：https://ieeexplore.ieee.org/document/8253891
作者：Liangjia Zhu, Peter Karasev , Ivan Kolesov, Romeil Sandhu, Member and Allen Tannenbaum
被引量：0（2019/6）
概览：边界一致性和像素连接关系，将用户操作看作目标函数里的权重。
《Interactive medical image segmentation using PDE control of active contours》，IEEE 2013
论文地址：https://ieeexplore.ieee.org/document/6567902
作者：P. Karasev, I. Kolesov, K. D. Fritscher, P. A. Vela, P. Mitchell, and A. Tannenbaum
被引量：40（2019/6）
《Active Learning for Interactive Segmentation with Expected Confidence Change》，2013
论文地址：http://citeseerx.ist.psu.edu/viewdoc/download
作者：D. Wang, C. Yan, S. Shan, and X. Chen
被引量：16（2019/6）
交互方法：
概览：提出基于主动学习的交互式分割方法。该方法主动选择关键区域。过程：先得出一个分割结果，用户进行交互，而主动学习在会当前分割结果不完善的情况下开始，它要求用户回答需要分割区域的标签，然后通过向分割结果中添加要求的分割区域来更新分割结果。
《SeedNet: Automatic seed generation with deep reinforcement learning for robust interactive segmentation》，CVPR 2018
论文地址：http://openaccess.thecvf.com/content_cvpr_2018
作者：Gwangmo Song, Heesoo Myeong, and Kyoung Mu Lee
被引量：2（2019/6）
交互方法：自动生成seed
概览：将 seed 自动生成问题看作为马尔可夫决策过程(MDP)，然后利用 DQN 对其对其进行优化。
《Probabilistic Diffusion for Interactive Image Segmentation》，TIP 2019
论文地址：https://ieeexplore.ieee.org/document/8453831
作者：Tao Wang , Jian Yang , Member, IEEE, Zexuan Ji, Member, IEEE, and Quansen Sun
被引量：
概览： describe the segmentation problem as a probability estimation problem based on the prior user intention.
《Random Walks for Interactive Organ Segmentation in Two and Three Dimensions: Implementation and Validation》
论文地址：http://citeseerx.ist.psu.edu/viewdoc/download
作者：Leo GradyThomas SchiwietzShmuel AharonRüdiger Westermann
被引量：121（2019/7）
《Carving: Scalable Interactive Segmentation of Neural Volume Electron Microscopy Images》，MICCAI 2011
论文地址：https://link.springer.com/chapter/10.1007/978-3-642-23623-5_82
作者： C. N. StraehleU. KötheG. KnottF. A. Hamprecht
《Interactive Whole-Heart Segmentation in Congenital Heart Disease》，MICCAI 2015
论文地址：https://link.springer.com/chapter/10.1007/978-3-319-24574-4_10
作者： Danielle F. PaceEmail authorAdrian V. DalcaTal GevaAndrew J. PowellMehdi H. MoghariPolina Golland
8. Survey & Tools
《Interaction in the segmentation of medical images: A survey》，2001
论文地址：https://www.sciencedirect.com/science/article/pii/S1361841500000414
作者：S. Olabarriaga and A. Smeulders
《Smart Paint – A New Interactive Segmentation Method Applied to MR Prostate Segmentation》，2012
论文地址：http://www.cb.uu.se/~filip/papers/SmartPaint.pdf
作者：Malmberg, F.; Strand, R.; Kullberg, J.; Nordenskjöld, R.; Bengtsson, E
《Smart brush: A real time segmentation tool for 3D medical images》，2013
论文地址：https://ieeexplore.ieee.org/document/6703826/
作者：Parascandolo, P.; Cesario, L.; Vosilla, L.; Pitikakis, M.; Viano, G
《User-Guided Segmentation of Multi-modality Medical Imaging Datasets with ITK-SNAP》，2018
论文地址：https://link.springer.com/article/10.1007/s12021-018-9385-x
作者：Paul A. Yushkevich1 · Artem Pashchinskiy1 · Ipek Oguz1 · Suyash Mohan1 · J. Eric Schmitt1 · Joel M. Stein1
908
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
