2016年10月_u012436149

原创 tensorflow学习笔记(十二):Normalization

Normalizationlocal_response_normalizationlocal_response_normalization出现在论文”ImageNet Classification with deep Convolutional Neural Networks”中,论文中说,这种normalization对于泛化是有好处的. bix,y=aix,y(k+α∑min(0,i+n/2)

2016-10-31 19:28:32 10584

原创 tensorflow学习笔记(十三):conv3d

conv3dtf.nn.conv3d(input, filter, strides, padding, name=None)Computes a 3-D convolution given 5-D input and filter tensors.In signal processing, cross-correlation is a measure of similarity o...

2016-10-31 14:56:20 25719 9

原创 tensorflow学习笔记（十一）：seq2seq Model相关接口介绍

源码地址调用外部的函数介绍tf.sampled_softmax_loss()tf.sampled_softmax_loss()中调用了_compute_sampled_logits() 关于__compute_sampled_logits()#此函数和nce_loss是差不多的, 取样求lossdef sampled_softmax_loss(weights, #[num...

2016-10-31 00:04:11 25122 11

原创 neural turing machine:神经图灵机tensorflow源码注释

Neural Turing Machine论文地址 tensorflow源码地址 NTM结构图 lstm作为控制器图中：A为控制器（为LSTM单元）write为write head, read 为 read_head 源码重点注释：ops.pyops.py中有两个函数，分别为linear() 、 Linear() ,这两个函数有什么区别呢，看上图， linear 主要用于左下

2016-10-28 20:35:26 4486 2

原创 tensorflow学习笔记（十）：sess.run()

session.run()session.run([fetch1, fetch2])import tensorflow as tfstate = tf.Variable(0.0,dtype=tf.float32)one = tf.constant(1.0,dtype=tf.float32)new_val = tf.add(state, one)update = tf.assign(state

2016-10-24 09:04:08 131499 15

原创 tensorflow学习笔记（九）：tf.shape()与tensor.get_shape()

两种方法都可以获得变量的shapetf.shape(x)其中x可以是tensor，也可不是tensor，返回是一个tensortensor.get_shape()只有tensor有这个方法，返回是一个tuple

2016-10-23 22:19:44 71182 3

原创 tensorflow学习笔记（八）：dropout

tensorflow:dropout我们都知道dropout对于防止过拟合效果不错 drop一般用在全连接的部分，卷积部分不会用到dropout,输出曾也不会使用dropout，适用范围[输入，输出) 1.tf.nn.dropout(x, keep_prob, noise_shape=None, seed=None, name=None) 2.tf.nn.rnn_cell.DropoutWra

2016-10-22 11:28:47 22989 4

原创 tenforflow学习笔记（七）：cnn

tenforflow:CNN常用函数卷积函数1.tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None, data_format=None, name=None) 2.tf.nn.depthwise_conv2d(input, filter, strides, padding, name=None) 3.tf.nn.

2016-10-22 10:57:59 6491 2

原创 tensorflow学习笔记（六）：LSTM 与 GRU

[10.26.2016 更新] [新增内容：今天写代码的时候，如果使用state_is_tuple=True, 那么initial_state = lstm_cell.zero_state(batch_size, dtype=tf.float32)...with tf.Session() as sess: tf.initialize_all_variables().run(...

2016-10-21 21:20:25 51746 20

原创 tensorflow学习笔记（五）：变量保存与导入

如何使用tensorflow内置的参数导出和导入方法：基本用法如果你还在纠结如何保存tensorflow训练好的模型参数，用这个方法就对了import tensorflow as tf"""变量声明，运算声明例：w = tf.get_variable(name="vari_name", shape=[], dtype=tf.float32)初始化op声明"""#创建saver opsa

2016-10-21 15:26:35 18704

原创 tensorflow学习笔记（四）：激活函数

tesorflow中的激活函数所有激活函数输入和输出的维度是一样的tf.nn.relu()tf.nn.sigmoid()tf.nn.tanh()tf.nn.elu()tf.nn.bias_add()tf.nn.crelu()tf.nn.relu6()tf.nn.softplus()tf.nn.softsign()tf.nn.dropout()

2016-10-20 17:15:34 25143

原创 tensorflow学习笔记（三）：损失函数

"""tf.python.ops.nn_ops.sparse_softmax_cross_entropy_with_logits(logits, labels, name=None)"""def sparse_softmax_cross_entropy_with_logits(logits, labels, name=None):#logits是最后一层的z（输入）#A common us

2016-10-20 17:00:19 32043

原创 tensorflow学习笔记（二）：tensor 变换

矩阵操作#对于2-D#所有的reduce_...，如果不加axis的话，都是对整个矩阵进行运算tf.reduce_sum(a, 1） #对axis1tf.reduce_mean(a,0) #每列均值第二个参数是axis，如果为0的话，res[i]=∑ja[j,i]res[i]=∑ja[j,i]res[i] = \sum_{j} a[j,i]即（res[i]=∑a[:,i]res[......

2016-10-20 13:35:36 47048 7

原创 tensorflow学习笔记（一）：命令行参数

全局环境下编写代码import tensorflow as tfflags = tf.flagslogging = tf.loggingflags.DEFINE_string("para_name","default_val", "description")flags.DEFINE_bool("para_name","default_val", "description")FLAG = fl

2016-10-20 10:54:05 23756 3

原创 tensorflow 0.10 word2vec 源码解析

2016-10-18 15:20:37 8410 5

原创 tensorflow 共享变量

with tf.variable_scope("try"): w2 = tf.get_variable("w1",shape=[2,3,4], dtype=tf.float32) w3 = tf.get_variable("w2", shape=[2, 3, 4], dtype=tf.float32) tf.get_variable_scope().reuse_variable

2016-10-17 14:54:28 2939

原创 tensorflow0.10.0 ptb_word_lm.py 源码解析

2016-10-17 14:49:07 5451 2

原创 ptb_reader源码解析

2016-10-16 05:37:53 4598 4

原创 tensrflow lstm

tf.nn.rnn_cell.LSTMCell.__init__(num_units, input_size=None, use_peepholes=False, cell_clip=None, initializer=None, num_proj=None, num_unit_shards=1, num_proj_shards=1, forget_bias=1.0, state_is_tup

2016-10-13 20:48:42 2633

Keith