NockinOnHeavensDoor的博客

mu = np.random.rand(5,5)sigma = np.random.rand(5,5)index = [[0, 1],[1,2]]smu = sess.run(tf.gather(mu,index))ssigma = sess.run(tf.gather(sigma,index))print(smu)print(ssigma)print(ssigma.shape)...

L1 和 L2 正则化对神经网络中之后连接权重做限制，比如对只有一个隐层的神经网络做L1正则：reset_graph()n_inputs = 28 * 28 # MNISTn_hidden1 = 300n_outputs = 10learning_rate = 0.01X = tf.placeholder(tf.float32, shape=(None, n_inputs),...

Class DenseInherits From: Layer . Defined in tensorflow/python/layers/core.py.This layer implements the operation: outputs = activation(inputs * kernel + bias) Where activation is the activation f...

tf.layers.dropout 和tf.nn.dropout区别 The only differences in the two functions aretf.nn.dropout has parameter keep_prob: “Probability that each element is kept”tf.layers.dropout has parameter rat...

Written by title date zhengchu1994 《A guide to convolution arithmetic for deep learning》 2018-05-26 15:46:30仿射变换(affine transformations)定义：即向量乘上矩阵产生的输出加上bias之后投进激活函数。缺...

用编码器做PCA隐层的特点：线性激活函数代码：预先声明的函数和包# To support both python 2 and python 3from __future__ import division, print_function, unicode_literals# Common importsimport numpy as npimport osimpor...

梯度消失和梯度爆炸解决办法：Xavier初始化和He初始化ReLU的优点和缺点隐层中使用激活函数的策略Batch Normalization梯度修剪梯度消失和梯度爆炸在反向传播算法计算cost函数的对每个参数的梯度误差之后，在更新参数的时候，随着越来越到低层，梯度越来越小， 最后导致lower layer的连接权重最后变化很小，甚至不变。然后训练持续下去一直得不...

tensorflow Regularizerstensorflow中对参数使用正则项分为两步: 1. 创建一个正则方法(函数/对象) 2. 将这个正则方法(函数/对象),应用到参数上参考：https://blog.csdn.net/u012436149/article/details/70264257就下面的这里改一下，举个例子：在使用tf.get_variable()...

Class Graph - A TensorFlow computation, represented as a dataflow graph.一个Graph 包含很多tf.Operation 对象（ represent units of computation;）和tf.Tensor 对象 （represent the units of data that flow between op...

import tensorflow as tfx = [1.0, 0.5, 0.75, 0.25, 0.2, 0.8, 0.4, 0.6]dropout = tf.nn.dropout(x, 0.5)with tf.Session() as sess: print(sess.run(dropout))[2. 1. 1.5 0. 0.4 1.6 0.8 0. ]

一、数据集的获取 TensorFLow 对 MNIST 数据集做了封装，让我们更加方便的使用。from tensorflow.examples.tutorials.mnist import input_data# 读取数据集，第一次TensorFlow会自动下载数据集到下面的路径中, label 采用 one_hot 形式 # la...

修改了代码跑不出来，可能版本变了？ – 即内存队列前,有一个文件队列，文件队列存放的参与训练的文件名，设为N个epoch，则文件名队列中有N个批次的所有文件名。 tf.train.slice_input_producer# -*- coding:utf-8 -*- import tensorflow as tf import numpy as np # 样本个数 ...

由于 TensorFlow 程序的未连接部分可能需要创建变量，因此能有一种方式访问所有变量有时十分受用。为此，TensorFlow 提供集合，它们是张量或其他对象（如 tf.Variable 实例）的命名列表。默认情况下，每个 tf.Variable 都放置在以下两个集合中：* tf.GraphKeys.GLOBAL_VARIABLES - 可以在多个设备共享的变量，* tf.GraphKey...

Args: value: 一个scalar, list 或者 tuple或者一个 n维numpy array.初始的variable的全部元素都会设定为相应的值 。 dtype:数据类型 官网例子： >>> import numpy as np >>> import tensorflow as tf >>> value...

tf.nn.l2_loss( t, name=None)Args:t: 一个Tensor. 其types为: half, bfloat16, float32, float64. name: A name for the operation (optional).作用：不使用sqrt计算张量的L2范数的一半：output = sum(t ** 2) / 2...

DataTypes in tensorflowTensors can take up any one of the datatypes Datatype Python type DescriptionDT_INT8 tf.int8 signed integer of 8 bitsDT_INT16 tf.int16 signed integer of 16 bits...

Recurrent Neural Networks循环神经网络很像前向神经网络，但是不同的是神经元有连接回指。循环神经网络用LSTM和GRU单元解决梯度爆炸\消失问题循环神经元（Recurrent Neurons）如图左边，一个循环神经元可以把自己的输出，作为自身的输入，但是这个输入是上一个时间戳(previous time step)的输出结果，如果照着时间戳展开(unro...

tf.normtf.norm( tensor, ord='euclidean', axis=None, keepdims=None, name=None, keep_dims=None)作用：计算向量，矩阵的范数。参数：tensor: 要计算的张量。ord：指定做什么样的范数计算。支持 'fro', 'euclidean', 1, 2...

i = tf.random_normal([3,3])reshape = tf.reshape(i,[-1])with tf.Session() as sess: print(sess.run(i)) print(sess.run(reshape))[[ 1.1606925 1.5120114 -0.98648375] [-1.5425496 0.447407...

tf.map_fn( fn, elems, dtype=None, parallel_iterations=10, back_prop=True, swap_memory=False, infer_shape=True, name=None)作用：map on the list of tensors unpacked from ...

tf.boolean_mask这个操作可以用于留下指定的元素，类似于numpy的操作。import numpy as nptensor = tf.range(4)mask = np.array([True, False, True, False])bool_mask = tf.boolean_mask(tensor, mask)print sess.run(bool_mask)[0 ...

tf.add_n([p1, p2, p3…])函数是实现一个列表的元素的相加。就是输入的对象是一个列表，列表里的元素可以是向量，矩阵，等例如：import tensorflow as tf;import numpy as np; input1 = tf.constant([1.0, 2.0, 3.0])input2 = tf.Variable(tf.random_uniform([3]...

熵 ：离散形式： H(X)≡−∑k=1KP(X=k)logP(X=k)H(X)≡−∑k=1KP(X=k)log⁡P(X=k)H(X)\equiv - \sum_{k=1}^KP(X=k)\log{P(X=k)}KL散度：KL(P||Q)=∑k=1KPklogPkQk=∑k=1KPklogPk−∑k=1KPklogQk=−H(P)+H(P,Q)//负熵+交叉熵KL(P||Q)=...

tf.assign_add( ref, value, use_locking=None, name=None)Update 'ref' by adding 'value' to it.This operation outputs “ref” after the update is done. This makes it easier to chain o...

tensorflow ConfigPrototf.ConfigProto一般用在创建session的时候。用来对session进行参数配置with tf.Session(config = tf.ConfigProto(...),...)1#tf.ConfigProto()的参数log_device_p...

尽量用tf.sigmoid，因为tf.nn.sigmoid之类的可能被移除。 参考:https://stackoverflow.com/questions/44949292/is-there-a-difference-between-activations-functions-in-tensorflow-tf-nn-tanh-vs...

会话级种子设置随机函数的seed参数，对应的变量可以跨session生成相同的随机数：例子tf.reset_default_graph()a = tf.random_uniform([1], seed=1)b = tf.random_normal([1])# Repeatedly running this block with the same graph will gen...

tf.transpose( a, perm=None, name='transpose', conjugate=False)作用：转置、共轭转置等。 参数perm ： returned tensor’s dimension i will correspond to the input dimension perm[i]例子：test = tf....

tf.unstack( value, num=None, axis=0, name='unstack')作用：解包：test = tf.random_normal([3,2],dtype=tf.float32)with tf.Session() as sess: #默认axis=0 print(sess.run([test,tf.unst...

梯度修剪主要避免训练梯度爆炸和消失问题tf.train.XXXOptimizercompute_gradientsArgs:Returns:apply_gradientsArgs:Returns:例子：梯度修剪主要避免训练梯度爆炸和消失问题tf.train.XXXOptimizerapply_gradients和compute_gradients...

from IPython.display import clear_output, Image, display, HTMLdef strip_consts(graph_def, max_const_size=32): """Strip large constant values from graph_def.""" strip_def = tf.GraphDef() ...

tf.multiply：（1）multiply这个函数实现的是元素级别的相乘，也就是两个相乘的数元素各自相乘。x=tf.constant([[1.0,2.0,3.0],[1.0,2.0,3.0],[1.0,2.0,3.0]]) y=tf.constant([[1 ,0 ,1.0],[2,0,1.0],[3 ,0,1.0]])#注意这里这里x,y要有相同的数据类型，不然就会因为数据...

Loss function* 在机器学习中，loss function（损失函数）也称cost function（代价函数），是用来计算预测值和真实值的差距。* 然后以loss function的最小值作为目标函数进行反向传播迭代计算模型中的参数，这个让loss function的值不断变小的过程称为优化。- 设总有N个样本的样本集为(X,Y)=(xi,yi)(X,Y)=(...

Linear RegressionUsing the Normal Equation# 再python2和3上都支持from __future__ import division, print_function, unicode_literalsimport numpy as npimport osimport tensorflow as tf# 让botebook的输入不会改变def r

get_variable( name, shape=None, dtype=None, initializer=None, regularizer=None, trainable=True, collections=None, caching_device=None, partitioner=None, validate

import sklearn.datasetsimport tensorflow as tfimport timeimport matplotlibimport matplotlib.pyplot as pltimport numpy as np数据集描述和加载DATA_TYPE = 'blobs'N=200# Number of clusters, if we choose ci

unsorted_segment_sum( data, segment_ids, num_segments, name=None)Computes a tensor such that (output[i] = sum_{j…} data[j…] where the sum is over tuples j… such that segment_ids[j…] ==

slice(input_, begin, size, name=None) Extracts a slice from a tensor.This operation extracts a slice of size size from a tensor input starting at the location specified by begin. 从begin位置开始，在输入的

tile(input, multiples, name=None) Constructs a tensor by tiling a given tensor.This operation creates a new tensor by replicating `input` `multiples` times.重复input一共multiples次数生成新的tensor The ou

原文：官网一个Variable变量通过run()保存流程图中的状态；创建一个变量，即创建一个Variable类的实例加入graph中Variable()构造器要求变量有初始化值，初始化值给出了Tensor的类型和形状。变量创建以后，变量的type和shape都被固定，变量的值可以通过assign方法改变。如果想改变变量的shape，通过使用assign方法，并且设置validate_shape =