机器学习
JYZhang_sh
本人自己多加加油~
上海高校机器学习研究僧小菜鸟一枚~
交流可发邮件1459416934@qq.com
展开
-
Shape-Aware Meta-Learning 在模型泛化中引入形状约束
论文来源:Liu, Quande, Qi Dou, and Pheng-Ann Heng. “Shape-aware Meta-learning for Generalizing Prostate MRI Segmentation to Unseen Domains.” In International Conference on Medical Image Computing and Computer-Assisted Intervention, pp. 475-485. Springer, Cham,原创 2020-11-05 17:13:31 · 2717 阅读 · 0 评论 -
Continual Learning 经典方法:Memory Aware Synapses (MAS)
1. 顾名思义Synapses 是神经元的突触,在人脑中负责连接不同神经元结构。Hebb’s rule 表示在脑生理学中,突触连接常常满足 “Fire Together, Wire Together”,即同时被激活或者同时失活。所以不同的任务对应潜在的不同突触——不同的记忆,因此选择激活或者改变某些神经元突触即可称为 Memory Aware Synapses (MAS)。在基于深度模型的终身学习任务中来说,可以通过计算网络中神经元的重要性,来选择保持重要的神经元在终身学习过程中相对不变,而不重要的神经原创 2020-11-03 17:17:48 · 3609 阅读 · 6 评论 -
Continual Learning 经典方法 — Gradient Episodic Memory (GEM)
1. 终身学习目标:缓解灾难性遗忘问题:当数据以online stream的方式训练模型时,训练完 Task 1 之后的模型,在学习 Task 2 的数据时往往会将 Task 1 的知识遗忘,导致在之前训练过的 Task 1 上性能急剧下降。2. Gradient of Episodic Memory2.1 什么叫 Episodic Memory最直观的解决遗忘性问题的方法,就是保存之前训练过任务的数据 (考虑到数据隐私性和计算存储开销的问题,保存的数据量不宜过大) —— 因此将保存好的之前训练过原创 2020-11-02 22:24:45 · 4982 阅读 · 0 评论 -
BatchNorm 在 U-Net 中的实战作用 —— 踩过的坑
BatchNorm 在 U-Net 中的实战作用 —— 踩过的坑BatchNorm 简介BatchNorm 代码实现 (pytorch)实际在 U-Net 中有无 BatchNorm 的影响BatchNorm 简介BatchNormalization 作为神经网络训练的大杀器,广泛的应用于各类网络的训练中。其好处在于:收敛过程大大加快,从而提升训练速度;提升网络性能,这点可以理解成类似于 Dropout 的防止过拟合的正则化方式;简化调参过程,对参数初始化要求没有那么高,可以使用大的学习率;原创 2020-07-01 18:50:55 · 3272 阅读 · 3 评论 -
浅析 Semi-Supervised Learning 中的 consistency 问题
浅析 Semi-Supervised Learning 中的 Consistency 问题传统半监督学习简述:现有半监督学习的问题 —— Individual Consistency实现方法总结传统半监督学习简述:区别于全监督学习,半监督学习针对训练集标记不完整的情况:仅仅部分数据具有标签,然而大量数据是没有标签的。因此,目前半监督学习的关键问题在于如何充分地挖掘没有标签数据的价值。主流的半监督学习方法有下面几种:Self-Training 方法。这是一种很直观的思路:既然大量数据是没有标签的,那么原创 2020-06-17 21:31:45 · 5740 阅读 · 6 评论 -
从 Metric Learning 看 Few-Shot Semantic Segmentation
Few-Shot Segmentation 问题定义假设模型在 CtrainC_{train}Ctrain 类上训练,我们的目标是 在测试时,给定一些新类 CtestC_{test}Ctest 的有标签的图像,用这个 训练好的 的模型对其他新类的图像进行预测 (分割)。一般文章中把上述有标签的新类图像称为 Support Image,把其他待分割的新类图像成为 Query Image。...原创 2020-04-15 21:23:26 · 1782 阅读 · 2 评论 -
one-shot 语义分割算法
文章出处 Shaban, Amirreza, et al. “One-shot learning for semantic segmentation.” arXiv preprint arXiv:1709.03410 (2017).One-Shot Semantic Segmentation 问题定义当 测试集中出现新类(不包括在训练集中),同时在测试集中仅仅 给定该新类的一张图片和对应语义分...原创 2020-03-22 18:20:57 · 2513 阅读 · 0 评论 -
形状一致的生成对抗网络 SC-GAN —— 无监督域适应
形状一致的生成对抗网络 SC-GAN —— 无监督域适应文章原文:Yu, Fei, et al. “Annotation-Free Cardiac Vessel Segmentation via Knowledge Transfer from Retinal Images.” International Conference on Medical Image Computing and Comp...原创 2020-03-17 17:50:21 · 1701 阅读 · 0 评论 -
MICCAI2019论文分享 PART①
刚刚结束的 MICCAI2019 会议的论文集分为6个部分,这段时间刷了一遍 Part I,在这儿和大家做一个简单的分享交流。由于本人主要专注于分割领域和半监督弱监督等学习策略,下面给出的综述可能多涉及该方向。选出的文章主要突出其中的闪光点,如果感兴趣还望各位移步 link 官网获取原文。如果阐述有误也欢迎大家拍砖指教。为话不多说,直接开始。1. Dual Encoding U-Ne...原创 2019-10-29 17:21:32 · 9601 阅读 · 11 评论 -
用于医学图像分割的数据增强方法 —— 标准 imgaug 库的使用方法
用于医学图像分割的数据增强方法 —— 标准 imgaug 库的使用方法前言 —— imgaug 库简介在机器学习算法尤其是 deep learning 盛行的如今,数据增强是实现深度学习不可避免的一个重要环节。相比于 tensorflow 或者 pytorch 自带的数据增强库而言,基于 imgaug 库的数据增强具有更加友好的 API 和更加丰富的功能。下面主要介绍在医学图像分割算法中,i...原创 2019-10-15 22:28:12 · 9948 阅读 · 3 评论 -
交互式分割中更好的guidance map
文章来源: CVPR2019 – Content-Aware Multi-Level Guidance for Interactive Instance SegmentationMotivation在经典的基于deep learning的交互式分割框架中, 交互信息通常变换成guidance map, 然后concentrate在图像的RGB上作为网络的输入. 一般guidance map是通...原创 2019-06-25 21:46:03 · 1107 阅读 · 0 评论 -
深度学习如何估计模型不确定性(epistemic uncertainty)
Motivation这里模型不确定性的重要性在此就不赘述了.其实,笔者之前就有一个疑惑:为什么在神经网络中模型不确定度不能按照传统模型那样去计算熵? 文献指出:主流的Deep Learning都采用最大似然估计或最大后验来训练,因此产生的往往是一个point estimation而不是uncertainty value. 具体来说, 直观来说Softmax层之后的概率向量可以用来解释模型的置...原创 2019-07-02 21:31:41 · 22985 阅读 · 12 评论 -
利用持续同调在基于深度学习的分割框架中引入显式的拓扑学约束
在基于深度学习的图像分割中利用持续同调引入显式拓扑学约束Motivation目前主流的图像分割框架都是类似全卷积方式的多尺度框架(U-Net等), 虽然他们能够利用图像邻域关系来辅助逐像素的分割,但是损失函数依然只独立地考虑每个像素点, 并不能考虑高阶的拓扑学结构. 因此往往会导致即使有比较低的逐像素的loss, 然是会造成拓扑学结构的改变, 从而带来分割结果的显著恶化(断裂或空洞等现象). ...原创 2019-07-16 21:52:02 · 3269 阅读 · 3 评论 -
Interactive Full Image Segmentation (CVPR2019)
Full Image Segmentation 问题定义全图分割的目标是把一张图中所有的物体 (all objects) 和背景 (stuff regions) 分割出来。 Workflow首先用基于极端点的分割得到初始分割结果,然后用 scribbles 进行交互式修正。Contribution and Advantage (明确在Full Image Segmentation中)...原创 2019-09-03 21:22:09 · 1004 阅读 · 0 评论 -
Backpropagating Refinement Scheme for Interactive Segmentation 反向传播修正机制 (CVPR2019)
Motivation传统的基于深度学习的交互式分割框架利用前向传播得到的结果,还是存在一定的偏差(比如交互部位在最后的分割结果中依然会被分割错)。因此提出 backpropagating refinement scheme 进行修正。注意:这里的 backpropagating 不是用来训练模型参数的,而是用来修正 annotation map 的。算法流程Training phas...原创 2019-09-04 17:43:22 · 1721 阅读 · 2 评论 -
半监督交互式视频物体分割 Fast User-Guided Video Object Segmentation by Interaction-and-propagation Networks
Aim实现一种视频分割的工作流:在视频的任意一帧上进行交互得到当前帧的修正结果,并传播到剩余帧。Contribution两个模块:Interaction Network 和 Propagation Network。– Interaction Network: 接受用户的交互 (如涂抹) 来分割前景物体。– Propagation Network:将交互的帧上的分割结果,传播到其他相...原创 2019-09-17 14:47:20 · 1568 阅读 · 3 评论 -
论文解读:Video Object Segmentation with Joint Re-identification and Attention-Aware Mask Propagation
MotivationTemplate Matching-based Methods (e.g. One-shot learning for video object segmentation 没有使用时序信息):考虑模板,比如视频中的第一帧中的mask,然后对后续帧进行匹配。但是这些方法受限于CNN分割模型的性能,不能处理具有大尺度形变和视角变化的物体。Temporal Propagat...原创 2019-09-24 16:51:49 · 1179 阅读 · 0 评论 -
Matching-based Video Object Segmentation 典型算法总结 —— JYZhang_CVML
最近稍微看了一些关于 semi-supervised video object segmentation (VOS) 的工作,其中注意到有几个算法具有明显的共同点——个人将其归结为 Matching-based Methods。这篇博客简单地总结和整理这些方法的最主要的 contribution,希望对各位的研究也有帮助。什么叫 Matching-based Methods?要解释这个概念得先...原创 2019-09-26 16:18:12 · 2164 阅读 · 0 评论 -
Tensorflow.slim 库中 batch_normalization 的问题及其替代方法
Batch Normalization 的公式y=γx−μσ+ϵ+βy = \gamma \frac{x-\mu}{\sigma + \epsilon}+\betay=γσ+ϵx−μ+β参数:xxx 是输入数据,yyy 是 batch normalization 的结果,γ\gammaγ 和 β\betaβ 是可学习的参数确保数据被过度正则化为均值 0 方差 1 的数据,而 μ\muμ ...原创 2019-09-29 20:20:30 · 1151 阅读 · 0 评论 -
Python小Tips (三):items()的妙用
问题描述显示字典中所有键对的值,并将其一行一行的打印出来。显示类中所有属性的值,并将其一行一行的打印出来。这个两个问题有助于 debug 的时候清晰的显示封装变量中的属性,提高代码的纠错和可读性。---------------------------------------------------------------------------------------------解决...原创 2019-09-30 21:46:46 · 1275 阅读 · 0 评论 -
基于稀疏表示的分类方法 Sparse Representation based Classification Method
文章来源 Jia K, Chan T H, Ma Y. Robust and practical face recognition via structured sparsity[J]. Computer Vision–ECCV 2012, 2012: 331-344.Highlight作为一种 sparse representation based classification method(S原创 2017-09-02 20:44:50 · 12858 阅读 · 1 评论 -
Tensorflow小Tips(二):如何给tensor赋值 —— tf.assign函数
其实tensorflow里面如何改变tensor的值一直是很令人苦恼的事儿,不过我最近发现 tf.assign 函数可以对 tensor 进行整体的赋值。调用方式import tensorflow as tfw = tf.Variable(initial_value=[[1,1], [1,1]], dtype = tf.float32)update = tf.assign(...原创 2018-09-13 21:23:14 · 17871 阅读 · 6 评论 -
Tensorflow小Tips(一):关于tf.contrib.metrics.streaming_true_positives
本文介绍的内容适用于 tf.contrib.metrics.streaming_true_positives 以及类似的 streaming_XXX 的 metrics。调用格式import tensorflow as tfa = tf.Variable([0,1,1,0], tf.bool)b = tf.Variable([0,1,0,1], tf.bool)tp, tp_...原创 2018-09-13 20:48:21 · 1544 阅读 · 0 评论 -
文章笔记:Active Learning for Delineation of Curvilinear Structures
文章来源: Mosinska A, Sznitman R, Głowacki P, et al. Active learning for delineation of curvilinear structures[J]. arXiv preprint arXiv:1512.00747, 2015. PS: 同年的ICCV会议文章简介相比于传统的主动学习算法,本文特别针对于管状结构的标注...原创 2018-08-29 22:45:21 · 382 阅读 · 0 评论 -
最基础且详细的 RPCA-ALM 算法推导过程(手写稿)
Rachel Zhang 的RPCA学习笔记较为系统的介绍了利用 ALM 来求解 RPCA 问题的过程。其中数学过程相对复杂,且部分推导过程没有介绍。因此博主抽了空用手写稿的形式梳理了一下 RPCA 的过程,自己推导了全套的数学流程,希望对各位初学者有所帮助。大神请绕道。警示!!!全文手写稿,图像质量不高请见谅~原创 2020-09-30 13:56:31 · 1991 阅读 · 8 评论 -
视频检测之: DECOLOR 算法
文章来源: Zhou X, Yang C, Yu W. Moving object detection by detecting contiguous outliers in the low-rank representation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(3): 597-原创 2017-10-17 21:47:40 · 2831 阅读 · 0 评论 -
Atlas-based segmentation 浅析
初见 —— Atlas-based segmentationAtlas 的中文翻译很贴切且形象,所谓“地图集”,直观来说,Atlas 就是人工标记完备的数据库。比如 BrainWeb 的 Atlas:在三维脑部CT数据中医生标注完备的各种脑部结构,如灰质、白质、海马等等结构。 最早的 Atlas-based segmentation 是基于 nonrigid registration 技术,原创 2017-09-20 21:49:30 · 9386 阅读 · 3 评论 -
冠脉XA图像中造影剂流入检测算法
本文主要介绍 learning-based contrast inflow detection 方法。基本思路其实造影剂流入检测算法的本质、重点的前提 —— 冠脉造影图像的分割检测。正是因为冠脉造影图像的分割,才可以提取出序列图像中造影血管的位置~ 有分割结果即证明有造影剂流入,没有分割结果即证明没有造影剂流入。因此根据造影图像的分割结果继而判断该图像序列是否存在造影剂流入的情况。传统算法灰度直方原创 2017-09-12 20:02:45 · 1538 阅读 · 0 评论 -
视频检测之:利用结构稀疏性(结构稀疏范数)进行RPCA分析
文献来源:Liu X, Zhao G, Yao J, et al. Background subtraction based on low-rank and structured sparse decomposition[J]. IEEE Transactions on Image Processing, 2015, 24(8): 2502-2514.透过现象看本质本文其实就是在一点点细微的地方对于原创 2017-09-01 21:05:16 · 1818 阅读 · 0 评论 -
视频检测之:GOSUS算法 —— Grassmannian Online Subspace Updates with Structured-sparsity
文献来源: Xu J, Ithapu V K, Mukherjee L, et al. GOSUS: Grassmannian online subspace updates with structured-sparsity[C]//Proceedings of the IEEE International Conference on Computer Vision. 2013: 3376-3383原创 2017-08-30 22:26:00 · 951 阅读 · 0 评论 -
X-ray 冠脉造影图像中的膈边界检测方法
论文来源 Petkov S, Carrillo X, Radeva P, et al. Diaphragm border detection in coronary X-ray angiographies: new method and applications[J]. Computerized Medical Imaging and Graphics, 2014, 38(4): 296-305.问原创 2017-09-07 21:57:53 · 869 阅读 · 0 评论 -
视频检测之:利用显著运动检测的 block-sparse RPCA
文献来源 Gao Z, Cheong L F, Wang Y X. Block-sparse RPCA for salient motion detection[J]. IEEE transactions on pattern analysis and machine intelligence, 2014, 36(10): 1975-1987.传统的RPCA问题框架中,观测到的视频序列被分解成low原创 2017-08-29 22:21:26 · 2027 阅读 · 0 评论 -
Block-sparse RPCA 数学推导(最详细版)
文章来源 [1] Tang G, Nehorai A. Robust principal component analysis based on low-rank and block-sparse matrix decomposition[C]//Information Sciences and Systems (CISS), 2011 45th Annual Conference on. IE原创 2017-09-03 22:37:58 · 2387 阅读 · 10 评论 -
From FCN to U-Net:经典分割网络的前世今生
关于Fully Convolution Network的一些细节介绍可以参考博主的另一篇文章:http://blog.csdn.net/jyzhang_cvml/article/details/79451749. 随着FCN提出,在2015年医学图像处理顶会MICCAI上,Olaf Ronneberger 设计了名为 U-Net 的医学图像分割网络。作者在文章中表示该网络具有两大优势:(1)在较少的原创 2018-03-07 15:37:46 · 1589 阅读 · 1 评论 -
DeepMedic —— 一种经典的医学图像分割的3D CNN框架
文章来源:Kamnitsas K, Ledig C, Newcombe V F J, et al. Efficient multi-scale 3D CNN with fully connected CRF for accurate brain lesion segmentation[J]. Medical image analysis, 2017, 36: 61-78. 医学图像分割领域的最经典的原创 2018-03-12 10:49:45 · 22106 阅读 · 4 评论 -
论文解读: Active Learning and Proofreading for Delineation of Curvilinear Structures
文章来源:Mosinska A, Tarnawski J, Fua P. Active learning and proofreading for delineation of curvilinear structures[C]//International Conference on Medical Image Computing and Computer-Assisted Interventi...原创 2018-08-30 21:56:33 · 514 阅读 · 0 评论 -
深度无监督显著性检测:多个Weak Label的伪监督
论文来源:2018 CVPR Deep Unsupervised Saliency Detection: A Multiple Noisy Labeling Perspective最近在刷今年CVPR的时候发现了这样一篇有点意思的文章,整理了一些思路和想法,留在这篇博客中分享给大家。Motivation 文章的出发点首先就引人入胜,是不是在深度学习流行的当下,handcraf...原创 2018-06-20 17:06:14 · 3284 阅读 · 0 评论 -
经典重温 Pix2Pix:Image-to-Image Translation with Conditional Adversarial Networks
文章来源于CVPR 2017: Image-to-Image translation with conditional adversarial networks。这篇文章基本可以认为是图像转换领域的一个转折点,其采用的条件生成对抗网络cGAN作为一种通用的图像变换方法,具有很高的参考价值。问题的提出换个角度看,现在很多计算机视觉问题可以看成是image-to-image transla...原创 2018-06-26 22:42:56 · 2508 阅读 · 0 评论 -
Oral of CVPR 2018 解读:Im2Flow: Motion Hallucination from Static Images for Action Recognition
文章链接:https://arxiv.org/abs/1712.04109. 这篇文章是CVPR2018的一篇Oral presentation,对于做动作识别的同学们还是挺有意思的。其中主要的闪光点:Motion hallucination 运动错觉,个人认为可能是推动领域发展的另一个Point。问题的提出在对于单帧图像(即所谓static image)是不是只能用到它的图像appe...原创 2018-06-24 15:33:10 · 1549 阅读 · 3 评论 -
DeepLab V3+:DeepLab系列的极致?
这篇文章是在三月八日提交在arXiv上的,对应代码也已经开源。 理解DeepLab V3+的构架首先需要理解DeepLab V3(可以参考博主的前一篇博客),V3+基本上可以理解成在原始的基础上增加了encoder-decoder模块,进一步保护物体的边缘细节信息。除此之外,也展示了在Xception网络上构架的优势(从原理角度来说也是换汤不换药)。Motivation 可以发现De...原创 2019-09-29 16:29:54 · 510 阅读 · 0 评论