- 博客(103)
- 收藏
- 关注
RSS订阅原创 Hierarchical combinatorial deep learning architecture for pancreas segmentation-笔记
Network architecture网络结构来源于RCF network。RCF基于Holistically-nested Edge Detection (HED) network，是一个边缘检测结构，目的是提取自然图片的显著的边缘和物体的边界。 网络结构如图： 虽然这个图画的不太常规，好像很厉害，但是有类似的结构。4个pooling，5个stages，13个卷积。每个stage后...
2018-05-13 09:02:49
350
原创 SegAN:Adversarial Network with Multi-scale L1 Loss for Medical Image Segmentation-笔记
这次介绍将对抗网络第一次应用到医学图像分割的文章。 作者提出用对抗网络进行分割，损失函数使用多尺度L1损失函数。该论文的判别器和生成器分别为critic network (C)和segmentor network (S)。 首先介绍一下SegAN与原始的GAN的区别。 1，损失函数的区别。经典的GAN的generator和discriminator的损失是分开的。本论文为segment...
2018-05-12 08:23:51
5190
2
原创 Machine Learning Yearning23~27
1.如果有可避免的高的偏差（可避免是相对于人类的水平来说的），可以通过增加网络深度来解决。如果方差较高的话（过拟合），增加数据量。 2.现在有很多很棒的神经网络架构，尝试新的框架相较于增加网络模型和数据量具有高的不确定性。 3.增加模型的大小会减小bias，但是可能增加方差，也有过拟合的风险。但一般来说，这种过拟合是由于没有使用正则化。如果有一个设计不错的正则化模型，我们可以放心的增加模型大小...
2018-05-11 09:38:24
204
原创 Machine Learning Yearning20~22
1.即使是所有的数据都是相同的分布，训练数据越多也不一定会得到想象的提高。那么我们啥时决定增加数据呢？机器学习里边误差主要来源两个方面：bias 和variance。明白这两个概念能够帮助我们，是否是通过增加数据还是和其它策略一起来提高网络的效果。 比如我们现在的算法，在训练集和测试集的error分别为15%，16%，我们想要达到5%的error。这时增加数据会使得更难达到我们需要的结果。这时，...
2018-05-08 23:04:47
244
原创 Machine Learning Yearning15~19
1.如何进行错误分析呢？我们将错分类别做一个表。 横向是各种各样的error categories。观察多了，对比多了，就会想到各种的错误类别。然后通过这个表，来决定在哪方面投入精力。如上表，相对于狗这类，将方向放到Great cat或者Blurry更好。 2.如果发现被错分类别本身标签是错误的，那么我们需要考虑是否纠正这些错误的标签。这取决于这些标错的数据是否影响我们的判断。如果错分类里...
2018-05-08 23:03:03
165
原创 Machine Learning Yearning1~14
1.测试数据尽量和要应用的数据分布吻合，这可能和训练数据分布不吻合；尽可能的使得dev 和 test sets的分布相同。 2.如果我们的算法要应用到特定的领域，dev和test sets的分布最好是相同的。 3. dev和test sets的大小要基于模型来定。通过dev和test sets评估不同模型的差异，如果模型差异越小，所需数据量越大。 4.确定一个单值的评价标准（比如accura...
2018-05-08 23:00:33
336
原创 V-Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation-论文笔记
代码开源 代码开源方法： 说说网络结构。卷积核大小5X5。每一层增加残差学习，论文说增加残差能够加速收敛。没有使用pooling，使用卷积来降采样（核大小2x2x2，步长2）。非线性函数使用PReLu。是右边使用反卷积。左右两边通过拼接而不是相加。 卷积和反卷积如下： 每层输出特征感受眼如下： 损失函数： 本文提出一个基于dice coefficient的损失函数。两个...
2018-05-06 16:51:37
3951
原创 unsupervised image segmentation by backpropagation-论文笔记
这是一个有趣的非监督分割方法 代码短小精悍直接说算法 1.首先对原图进行超像素分割。 2.使用卷积网络进行正向传播。网络输出100channel，输出和输入大小相同。也就是说，每个输入像素对应输出100个像素。这100个channel相当于对每个像素点进行100类的分类。通过这100个channel的输出，我们可以得到每个像素的预测类别。 3.那么我们如何得到每个像素...
2018-05-05 16:05:24
2652
4
原创 各种交叉验证评价模型
1.The validation set approach（设置验证集）就是说，在训练时，留出来一部分作为验证集（不参与训练），随时检测网络训练情况。我的做法是，每个epoch训练完后，都是用验证集进行验证，通过观察验证集来验证网络训练情况。from sklearn.model_selection import train_test_split2. Leave one out ...
2018-05-03 21:03:33
3576
原创 Interleaved 3D-CNNs for Joint Segmentation of Small-Volume Structures in Head and Neck CT Images-笔记
传统分割： （1）Atlas based methods, （2）Statistical shape/appearance based methods （3）Classification based methods论文方法： 1.调整窗宽窗位为[-200，200]。（肉眼可以观察软组织器官） 2.采用MABS method方法粗定位ROIs。使用归一化互信息...
2018-04-30 13:35:03
635
原创 3D Deeply Supervised Network for Automatic Liver Segmentation from CT Volumes-笔记
网络结构： 网络改进的地方是通过反卷积（核大小为3X3X3，步长为2）中间层，使得和输入大小相同，然后通过label计算loss，和最终loss一起进行梯度更新。中间反卷积层输出的loss可以防止梯消失。（深度监督DSN） 由于最终输出是通过反卷积得到的，只通过阈值生成结果，有时后边缘会不精确。所以在横断面又使用了CRF。 观察了中间层的输出：证明该论文的中间层学习到的表达相关性...
2018-04-30 10:50:28
1285
1
原创 Quantization of Fully Convolutional Networks for Accurate Biomedical Image Segmentation-笔记
本文以论文Suggestive Annotation: A deep active learning frame work for biomedical image segmentation为基础，使用量化技术。 1.对具有高度表达性的训练样本使用suggestive annotation进行量化； 2.为了更高的精确度，使用量化对网络进行训练； 思路就是首先改善数据，然后使用改善的数据训练...
2018-04-18 20:08:54
718
原创 Suggestive Annotation: A Deep Active Learning Framework for Biomedical Image Segmentation-笔记
本文结合activate learning和bootstrap。 网络结构如图： 操作过程如下：首先使用少量的标注的数据进行训练网络，然后输入未标记的数据，根据提取的有用信息记录需要标记的数据，然后进行标记。下一个阶段使用现在可利用的标记好的所有数据进行训练，一直循环。挑战就是如何将进行信息提取的FCNs和deep active learning framework（分割网络）结合。 来...
2018-04-18 19:31:50
875
2
原创 Automatic Segmentation of MR Brain Images With a Convolutional Neural Network
一，数据： 二，方法：使用不同patch size大小的原因：大的patch包含空间信息，可以定位到这个像素位于图像中的位置（使用大的kernel）；小的patch提供局部相邻像素的细节信息（使用小的kernel）。 每类训练数量相同，防止数据不平衡。 为了提供更多的数据，网络训练的每个周期的数据是不同的，每个周期重新提取训练数据。（由于每个训练周期之间提取数据，这样回增加寻...
2018-04-17 23:20:01
805
1
原创 Scaling Up Crowd-Sourcing to Very Large Datasets: A Case for Active Learning-笔记
通过Active Learning（AL）算法，找到最小的需要标注的数据进行训练，来标记未标记的数据。 AL必须满需下边的需求才能作为crowd-sourced database的默认的最优策略： Generality：算法必须能够应用到任意的分类和标记任务。因为crowd-sourced systems应用广泛。 Black-box treatment of the ...
2018-04-17 13:12:17
334
原创 Bootstrap-Scaling Up Crowd-Sourcing to Very Large Datasets: A Case for Active Learning
论文Scaling Up Crowd-Sourcing to Very Large Datasets A Case for Active Learning对bootstrap做了介绍。 原书（B. Efron and R. J. Tibshirani. An Introduction to the Bootstrap. Chapman & Hall, 1993.） ...
2018-04-17 12:26:35
289
原创 ranker-Scaling Up Crowd-Sourcing to Very Large Datasets: A Case for Active Learning
论文Scaling Up Crowd-Sourcing to Very Large Datasets A Case for Active Learning提出两种AL算法。 首先找到分类器θ对未标注数据的不确定程度。然后让crowd对这些数据进行标定。下边介绍两种不确定性方法。 下边的u是未标记数据，但是是指未标注数据的每一个，而不是整体。一：Uncertainty Algorit...
2018-04-17 12:15:31
190
原创 activate learning-Scaling Up Crowd-Sourcing to Very Large Datasets: A Case for Active Learning
Active Learning Notation本文是介绍论文Scaling Up Crowd-Sourcing to Very Large Datasets A Case for Active Learning中的AL算法。 Active learning algorithm主要由：1.一个ranker R； 2. selection strategy S；3. budget allo...
2018-04-17 12:01:23
360
原创 安装anaconda后，装库报错权限不够
安装anaconda后，安装tensorflow，或者更新pip都报错：发现是anaconda文件夹权限不够。 查看发现anaconda文件夹上了一把锁，需要去掉。sudo chown 用户名 文件夹 -R比如：我的用户名叫secret，文件夹叫anaconda3sudo chown secret anaconda3/ -R...
2018-04-15 22:04:31
3921
原创 ubuntu16.04安装nvidia驱动
两块显卡：970和titan x 安装好Ubuntu后，在安装驱动之前： 1.对ubuntu软件进行更新。因为之前安装好驱动后，更新了软件重启后，陷入循环登陆状态。 2.sudo add-apt-repository ppa:xorg-edgers/ppa #添加ppa源sudo add-apt-repository ppa:graphics-drivers/ppa #添加ppa源...
2018-04-15 18:57:11
1304
1
原创 强化学习之Q-learning
三要素：状态（state），动作（action），奖赏（reward）。更具具体情况自行进行给定。 Q更新公式： Q是什么？动作效用函数（action-utility function）,用于评价在某一状态下采取某个动作的优劣。如果Q训练好了，之后预测时就可以按照Q进行选择动作。详解Q更新函数： α是学习速率；γ是折扣因子；由公式可知，α控制保留之前效果的比例，α越大，保留之前的训练...
2018-04-02 15:12:38
2167
原创 Dual Path Networks
作者发现ResNet可以使得特征重用，DenseNet可以探索新的特征。二这两个作用对网络学习好的表达很重要。所以论文将2着结合起来。 结构如下图： 首先将输入预分为俩部分。将所有输入通过1X1，3X3和1X1的卷积之后也分为相同数量的俩部分，第一部分像resnet一样相加，第二部分像densenet一样拼接。形成下一个新的输入。不断重复上述过程。为了减缓宽度的增加，将最后一个1X1的少数...
2018-03-31 15:19:34
273
原创 ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices
depthwise separable convolution：depthwise convolution+ pointwise convolution。 depthwise convolution：比如输入是AXA大小，M通道，输出大小是BXB，N通道。比如卷积核大小为KXK。depthwise convolution就是：使用M个KXK大小的卷积核，分别对输入进行卷积，与常规的卷积不同的是，...
2018-03-30 19:55:12
394
原创 ValueError: ndarray is not C-contiguous
使用函数skimage.morphology.convex_hull_image()进行凸填充时出现，错误：ValueError: ndarray is not C-contiguous奇怪的是在凸填充之前进行开运算操作，就可行了。 开运算之前： 这个是二值化后的图像，类型为np.uint8，此时如果，直接进行凸填充会报错。如果对上图进行开运算： 此时如果进行凸填充就不会报错...
2018-03-19 22:40:35
8988
2
原创 CRF图像语义分割
对于CRF图像分割，有一个python模块github。该模块来源于论文Efficient Inference in Fully Connected CRFs with Gaussian Edge Potentials 条件随机场图像分割原理： P(x/y)参考 github代码...
2018-03-10 15:45:43
9738
5
原创 DICOM医学图像读取涉及到的医学坐标体系-2
确定患者的位置和躺的方向主要有3个标签: (0018, 5100) Patient Position CS: ‘HFS’ (0020, 0032) Image Position (Patient) DS: [‘-167’, ‘-92’, ‘-28.5’] (0020, 0037) Image Orientation (Patient
2018-01-04 21:49:10
3902
原创 Squeeze-and-Excitation Networks
作者提出SE blocks，通过堆叠SE blocks，可以生成SENet架构。SE blocks基本结构如图1。论文目的是通过明确的模型化卷积特征图之间的内部依赖关系，来增强网络的表达能力。通过一个给定的变换：Ftr : X → U，X ∈ RW‘×H‘×C’ ,U ∈ R W×H×C，我们可以建造一个对应的SE block，对特征再校准。特征U首先通过squeeze操作，汇集特征图产生...
2018-01-01 17:17:06
843
原创 Squeezenet alexnet-level accuracy with 50x fewer parameters and less 0.5MB model size
项目网址在和AlexNet同等精确度的情况下，SqueezeNet的参数少了50倍，最后模型大小减小到510倍。架构设计策略：主要有3个。 1. 使用1X1的滤波器代替3X3的滤波器。 2. 通过1方法来减少输入通道个数。 3. 推迟下采样，由于下采样的推迟，特征图增大，可以提高分类精确度，降低网络深度。 方法1和2是保持网络性能基础上使用；方法3是为提高网络性能使用。论...
2018-01-01 17:11:33
1000
原创 MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications
故名思意，为了容易满足手机和嵌入式应用的需求。有两个超参数可以调整网络，使得可以兼顾不同的情况，平衡速度和精确度的要求。在优化延迟的同时使得网络尽可能的小。MobileNet Architecture MobileNet模型基于depthwise separable convolutions（= depthwise Convolution + 1×1 convolution called a p
2018-01-01 17:02:20
365
原创 Inception系列4_Xception： Deep Learning with Depthwise Separable Convolutions
Xception： Deep Learning with Depthwise Separable Convolutions 作者：Franc ¸ois Chollet卷积层的作用是既要学习二维信息，也要学习三维信息。为了使得这种学习简单高效，inception将其分解为一系列的操作，独立的学习二维和三维特征。首先通过一系列的1X1关注与三维相关性，映射到3~4个独立的比输入更小的空间，然后在通过3
2017-12-19 12:03:02
1291
原创 Inception系列3_Inception-v4：Inception-ResNet and the Impact of Residual Connections on Learning
Inception-v4：Inception-ResNet and the Impact of Residual Connections on Learning 作者：Christian Szegedy，Sergey Ioffe，Vincent Vanhoucke有一条很清楚的经验证明：训练具有残差连接的网络能够显著的加速Inception网络的训练。 论文提出两种模型：Inception-v4
2017-12-19 11:20:07
502
原创 Inception系列2_Rethinking the Inception Architecture for Computer Vision
Rethinking the Inception Architecture for Computer Vision作者：Christian Szegedy，Vincent Vanhoucke， Sergey Ioffe这篇论首先描述了一些通用的原则和优化方法，这些方法被证明对减小网络是有用的。General Design Principles 1.避免representational bottle
2017-12-19 10:43:44
453
原创 Inception系列1_Going deeper with convolutions GoogleNet inception
Going deeper with convolutions_GoogleNet_inception作者: Christian Szegedy, Wei Liu, Yangqing Jia这个架构的主要优点是提高网络内部计算资源的利用率,前生是GoogLeNet. 提高网络结果的方法有增加深度和增加宽度,但缺点就是参数过多和增加计算资源.解决办法去就是将全连接改为系数连接架构(包括卷积内部).A
2017-12-19 10:15:04
285
原创 matplotlib画图2
fig, ax = plt.subplots(figsize=(10, 8))plt.grid()line1 = ax.plot(t, eye_dice, linewidth=1, label='eye_dice', color='darkorange')line2 = ax.plot(t, len_dice, linewidth=1, label='len_dice', color='m')
2017-10-16 09:44:20
347
原创 ubuntu16.04 虚拟机 安装win7/win10
1.安装VirtualBox sudo apt-get install virtualbox 然后就是等待安装完毕，然后在ubuntu的dash中搜索virtualbox,启动即可。2.安装虚拟机 点击新建 输入名字,点击下一步 设置内存,不建议太大,毕竟是虚拟机,占内存,点击下一步 创建虚拟硬盘(如果以前没有创建),点击创建 选择默认,点击下一步 选择动态
2017-10-11 14:50:04
39895
4
原创 Automatic Brain Tumor Detection and Segmentation Using U-Net Based Fully Convolutional Networks_2017
作者:Hao Dong , Guang Yang 等训练图像被插值为1*1*1,大小为240×240×155,然后经过数据标准化(每套多模态MRI减去自己的均值,除以标准差).肿瘤被分了4类,1.necrosis(坏死), 2.edema(水肿), 3.non-enhancing, 4.enhancing tumor.使用FLAIR图像分割完整的肿瘤区域和除水肿之外的肿瘤,使用T1c(T1-wei
2017-10-08 09:11:57
1456
原创 matplotlib画图1
import numpy as npimport matplotlib.pyplot as pltpath = ''N = 5menMeans = (20, 35, 30, 35, 27)womenMeans = (25, 32, 34, 20, 25)girls = (12, 3, 45, 12, 4)ind = np.arange(N) # the x locations fo
2017-10-03 15:13:08
340
原创 目标检测4 Faster R-CNN
作者：Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun这篇文论干了什么呢?目标检测网络基于区域建议（ region proposal）算法，首先得生成区域建议，才能进行检测，暴露出区域建议是目标检测的一个瓶颈。所以，论文提出一个区域建议网络（ Region Proposal Network ，RPN），使用检测网络，共享全图卷积特征，使得生成
2017-09-13 10:02:36
619
原创 目标检测3 Fast R-CNN
作者：Ross Girshick Microsoft Research 开源代码： https://github.com/rbgirshick/fast-rcnnr-cnn的缺点： 1.多状态通道训练；首先使用log损失微调cnn，然后使用SVM（而不是softmax）进行分类，最后还要使用线性回归模型来提高精确度。 2.训练占内存和耗时间； 3.目标检测很慢；即测试也很慢。 为什么这么
2017-09-06 15:37:27
524
原创 目标检测2 SPPnet
Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition 作者：Kaiming He, Xiangyu Zhang, Shaoqing Ren现在的深度卷积神经网络要求输入图像固定大小，这样的要求减小了图像或者随意大小子图像的识别精确度。作者提出空间金字塔池化来解决上边问题。这个新网络叫做SPP-ne
2017-08-28 07:12:49
505
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人