节点 指的是神经网络中的神经元
tf.Variable()
作用是保存和更新神经网络中的参数
Tensorflow 常数 生成函数
函数名称 | 功能 | 样例 |
---|---|---|
tf.zeros() | 产生全0的数组 | tf.zeros([2,3],int32) -> [ [0,0,0],[0,0,0] ] 2行3列矩阵 |
tf.ones() | 产生全1的数组 | tf.ones([2,3],int32) -> [ [1,1,1],[1,1,1] ] |
tf.fill() | 产生全部为给定数字的数组 | tf.fill([2,3],9) -> [ [9,9,9],[9,9,9] ] |
tf.constant() | 产生一个给定值的常量 | tf.constant([1,2,3]) -> [1,2,3] |
Tensorflow 随机数 生成函数
函数 | 随机数分布 | 主要参数 |
---|---|---|
tf.random_normal() | 正态分布 | 平均值mean, 标准差stddev,取值类型 |
tf.random_uniform() | 均匀分布 | 最小,最大取值,取值类型 |
tf.random_gamma() | Gamma分布 | 形状参数alpha,尺度参数beta,取值类型 |
tf.truncated_normal() | 正态分布, 但如果随机出来的值 偏离平均值超过2个标准差, 那么这个数将会被重新随机 | 平均值mean, 标准差stddev,取值类型 |
tf.matmul()
矩阵运算
batch
反向传播算法实现迭代过程. 在每次迭代的开始,首先需要选取一小部分训练数据,这一小部分数据叫做一个batch
placeholder
TensorFlow 提供了 placeholder 机制用于提供输入数据.
placeholder相当于定义了一个位置,这个位置中的数据在程序运行时再指定.
这样在程序运行中就不需要生成大量常量来提供输入数据,而只需要将数据通过placeholder传入TensorFlow计算图
在placeholder定义时, 这个位置上的数据类型是需要指定的.和其他张量一样, placeholder的类型也是不可以改变的.
placeholder中数据的维度信息可以根据提供的数据推导得出,所以不一定要给出
Tensorflow常用的三种反向传播优化方法
tf.train.AdamOptimizer()
tf.train.GradientDescentOptimizer()
tf.train.MomentumOptimizer()