人工智能
文章平均质量分 61
legend_hua
这个作者很懒,什么都没留下…
展开
-
DenseNet网络详解(转载)
文章写得非常棒,转载慢慢学习。论文:Densely Connected Convolutional Networks 论文链接:https://arxiv.org/pdf/1608.06993.pdf 代码的github链接:https://github.com/liuzhuang13/DenseNet MXNet版本代码(有ImageNet预训练模型,如果觉得有帮助,记得给个星): https:...转载 2018-05-08 16:33:37 · 4583 阅读 · 0 评论 -
nvidia-smi 命令解读
一、nvidia-smi命令nvidia-smi是用来查看GPU使用情况的。我常用这个命令判断哪几块GPU空闲,但是最近的GPU使用状态让我很困惑,于是把nvidia-smi命令显示的GPU使用表中各个内容的具体含义解释一下。这是服务器上特斯拉K80的信息。 上面的表格中: 第一栏的Fan:N/A是风扇转速,从0到100%之间变动,这个速度是计算机期望的风扇转速,实际情况下如果风扇...转载 2018-12-18 09:40:21 · 4095 阅读 · 0 评论 -
torch.nn与torch.nn.functional之间的区别和联系
原文地址:https://blog.csdn.net/GZHermit/article/details/78730856迷惑的地方是在于forward的函数的定义方法。为什么要把网络中的一部分层在__init__()函数里定义出来,而另一部分层则是在__forward()__函数里定义?并且一个用的是nn,另一个用的是nn.functional。同一种层的API定义有两种,这样看似冗余的设计是...转载 2018-12-10 15:01:45 · 6752 阅读 · 2 评论 -
ResNet反向传播公式推导
ResNet残差网络结构在深层网络中训练效率会提高,为什么呢,我们下面用公式解释一下。我们先回顾全连接网络和卷积网络反向传播的过程,细节推导见我的博客一、DNN结构反向传播1、l层全连接层的反向传播的W的梯度公式 2、l层全连接层的反向传播的b的梯度公式 3、层与层之间的梯度传播依靠到的过渡 ...原创 2018-08-16 15:46:53 · 12169 阅读 · 0 评论 -
卷积神经网络的旋转不变性理解
卷积神经网络本身的设计对旋转不变性没有进行专门的考虑,只不过max-pooling可以稍微补偿一下这个功能,只是角度变化太大,可能会作用不大,但因为max-pooling并不是为此而设计的,所以总体上说CNN提取旋转不变的特征能力是比较弱的。论文Group Equivariant Convolutional Networks和spherical CNNs对网络结构的旋转不变性设计进行了理论分析...原创 2018-08-18 21:05:03 · 14416 阅读 · 0 评论 -
CNN的反向传播过程的推导(池化层、卷积层)
上一篇文章介绍了DNN的反向传播,对DNN不清楚的可以去看看,CNN在DNN的基础上进行解释。一、回顾DNN的反向传播上一篇DNN反向传播过程得出结论:1、计算每一层的W、b的梯度,需要计算出2、然后每一层的W的梯度和b的梯度 ...原创 2018-08-11 22:51:09 · 15822 阅读 · 4 评论 -
DNN的反向传播过程的推导
DNN网络(全连接的网络)在进行DNN反向传播算法前,我们需要选择一个损失函数,来度量训练样本计算出的输出和真实的训练样本输出之间的损失。输出计算公式:随机选择一系列W,b,用前向传播算法计算出来的。即通过一系列的计算:。计算得出最后的输出层L对应的便是前向输出的结果。损失函数的选择有很多,比如均方差、交叉熵。我们以交叉熵为例,介绍DNN的反向传播算法,计算公式如下:,其中y为真实的标...原创 2018-08-11 12:27:17 · 4970 阅读 · 1 评论 -
TensorFlow中conv2d中padding方式解释
tf1.9版本以上的conv2d函数存在8个输入参数,但是前4个是各种版本中都一直存在的参数,他们是进行卷积计算的重要的输入参数。input为输入的tensor,filter为滤波器的尺寸,strides为滑动距离表示,padding为边缘的处理机制('VALID'和‘SAME’)。 本文着重介绍不同的padding方式,对输出的数据维度的影响。常规的计算卷积的输入输出的维度变化的公式...原创 2018-07-24 11:19:43 · 1561 阅读 · 0 评论 -
医学肝分割论文H-DenseUnet解析
1 基本说明本文对H-DenseUnet进行了解析,包括网络结构、数据处理、训练测试过程及结果分析。2 网络结构网络主要有4个模块组成:ResNet轮廓粗提取、2D DenseUnet提取切片内特征、3D DenseUnet提取切片间特征、HFF层2D和3D特征融合。网络结构图如图2.1。 2D和3D的DenseUnet首先经过由DenseNet Block构成...原创 2018-07-01 21:19:59 · 14807 阅读 · 32 评论 -
浅谈深度学习的瓶颈
转自网络 人工智能现在已经非常火了,各种新闻机构都在不断地放出猛料,有的说现在IBM的Waston人工智能已经能够彻底取代劳动者了;还有的说现在的算法在医疗领域已经能够打败医生了。每一天,都有新的人工智能初创公司出现,每一家都声称自己在利用机器学习,彻底颠覆你个人的生活,这些都是商业性质的活动。 还有一些大家平日里司空见惯的产品,比如榨汁机,无线路由器,一夜...转载 2018-06-29 15:17:52 · 3063 阅读 · 0 评论 -
mini-batch梯度下降
一、背景 传统的梯度下降,每次梯度下降都是对所有的训练数据进行计算平均梯度,这种梯度下降法叫做full-batch梯度下降法。考虑一种情况,当训练数据量在千万级别时,一次迭代需要等待多长时间,会极大的降低训练速度。每次训练的使用同一份数据,所以loss的损失函数会是一直下降的,收敛到的是全局最优解。二、mini-batch梯度下降如果选择介于1和最大训练数据量之间的一个bath...原创 2018-06-09 20:20:08 · 7391 阅读 · 0 评论 -
图像分割中dice指标的计算及程序编写
dice是医学图像中的常见指标,VgtVgt代表的是ground truth的分割结果,VpredVpred代表的是预测的分割结果。直观上理解,如下图,代表的是两个体相交的面积占总面积的比值,完美分割该值为1.。计算公式为DICE=2∗(Vseg and Vgt)Vseg+Vgt按图中区域表示计算为tensorflow中编写计算公式如下:def dice_coef_theoretical(y_pr...原创 2018-06-07 16:17:27 · 28113 阅读 · 17 评论 -
tf.slice详解
tf.slice函数为:tf.slice( input_, begin, size, name=None)官网描述为:This operation extracts a slice of size size from a tensor input starting at the location specified by begin翻译为:从原始输入input数据...原创 2018-05-15 22:24:15 · 4750 阅读 · 0 评论 -
tensorflow+cuda+cudnn配置
一、tensorflow通过虚拟环境安装tensorflow,官网二、cuda官网下载 CUDA Toolkit Archive,选择 CUDA Toolkit 8.0 GA1 (Sept 2016),下载 runfile 文件 cuda_8.0.44_linux.run。runfile 安装sudo chmod a+x cuda_8.0.44_linux.runsudo ...原创 2019-01-07 11:21:01 · 594 阅读 · 0 评论