2016年11月_xf__mao

12月 11月 10月 09月 08月 07月

原创【TensorFlow】tf.nn.softmax_cross_entropy_with_logits的用法

在计算loss的时候，最常见的一句话就是tf.nn.softmax_cross_entropy_with_logits，那么它到底是怎么做的呢？首先明确一点，loss是代价值，也就是我们要最小化的值tf.nn.softmax_cross_entropy_with_logits(logits, labels, name=None)除去name参数用以指定该操作的name，与方法有关的

2016-11-28 21:46:29 119295 27

原创【TensorFlow】tf.sparse_to_dense的用法

TensorFlow是一个很坑的东西，在没有session运行的时候，所有数据都看不到结果，很难去print而且TF还没有中文的API手册，很多东西很难体会在这里记录一下比较难理解的几个方法的用法，以便后面用到tf.sparse_to_dense(sparse_indices, output_shape, sparse_values, default_value, name=N

2016-11-27 20:37:32 33412 16

原创【TensorFlow】tf.concat的用法

tf.concat是连接两个矩阵的操作tf.concat(concat_dim, values, name='concat')除去name参数用以指定该操作的name，与方法有关的一共两个参数：concat_dim：必须是一个数，表明在哪一维上连接如果concat_dim是0，那么在某一个shape的第一个维度上连，对应到实际，就是叠放到列上t1 = [[1, 2

2016-11-27 20:00:10 107205 9

原创【深度学习】论文导读：GoogLeNet模型，Inception结构网络简化（Going deeper with convolutions）

论文下载Going deeper with convolutionsgoogle在ILSVRC14比赛中获得冠军的一个模型。GoogLeNet, 一个22层的深度网络。GoogLeNet模型的参数量只是两年前该项赛事的冠军Krizhevsky参数量的1/12，大大降低了网络的复杂度，甚至还达到了比Krizhevsky更高的精度。此篇论文讨论的就是如何有效的控制computa

2016-11-26 14:23:16 15864 2

原创【深度学习】论文导读：ELU激活函数的提出（FAST AND ACCURATE DEEP NETWORK LEARNING BY EXPONENTIAL LINEAR UNITS (ELUS)）

FAST AND ACCURATE DEEP NETWORK LEARNING BY EXPONENTIAL LINEAR UNITS (ELUS)（2016，Djork-Arn´e Clevert, Thomas Unterthiner & Sepp Hochreiter）论文下载一、简介 ELU的表达式：四种激活函数（ELU，LReLU，ReLU，SReLU）比较图：

2016-11-20 17:19:53 39661 1

原创【深度学习】论文导读：google的批正则方法（Batch Normalization: Accelerating Deep Network Training by Reducing...）

google2015年的论文，首次提出批正则方法，优化深度神经元网络的学习摘要在深度网络的训练中，每一层网络的输入都会因为前一层网络参数的变化导致其分布发生改变，这就要求我们必须使用一个很小的学习率和对参数很好的初始化，但是这么做会让训练过程变得慢而且复杂。作者把这种现象称作Internal Covariate Shift。通过Batch Normalization可以很好的解决这个问

2016-11-13 17:07:00 1943

原创【深度学习】论文导读：图像识别中的深度残差网络（Deep Residual Learning for Image Recognition）

CVPR2016最佳论文

2016-11-10 22:24:54 4160 6

原创反向传播算法的直观理解

一、反向传播的由来在我们开始DL的研究之前，需要把ANN—人工神经元网络以及bp算法做一个简单解释。关于ANN的结构，我不再多说，网上有大量的学习资料，主要就是搞清一些名词：输入层/输入神经元，输出层/输出神经元，隐层/隐层神经元，权值，偏置，激活函数接下来我们需要知道ANN是怎么训练的，假设ANN网络已经搭建好了，在所有应用问题中（不管是网络结构，训练手段如何变化）我们的目标

2016-11-05 21:59:22 48540 18