01 运行环境
win10 python3.5.3 CUDA v8.0 cudnn-8.0-windows10-x64-v5.1
代码运行工具:
A Eclise Neon.2 Release (4.6.2) PyDev
B PyCharm Community Edition 2017.1
02 第三章 TensorFlow入门
tensorflow的计算模型:计算图–tf.Graph
tensorflow的数据模型:张量–tf.Tensor
tensorflow的运行模型:会话–tf.Session
tensorflow可视化工具:TensorBoard
通过集合管理资源:tf.add_to_collection、tf.get_collection
Tensor主要三个属性:名字(name)、维度(shape)、类型(type)
会话Session需要关闭才能释放资源,通过Python的上下文管理器 with ,可以自动释放资源
tensorflow设备:tf.device(‘/cpu:0’)、tf.device(‘/gpu:2’)
集合名称 | 集合内容 | 使用场景 |
---|---|---|
tf.GraphKeys.VARIABLES | 所有变量 | 持久化TensorFlow模型 |
tf.GraphKeys.TRAINABLE_VARIABLES | 可学习的变量 | 模型训练、生成模型可视化内容 |
tf.GraphKeys.SUMMARIES | 日志生成相关张量 | TensorFlow计算可视化 |
tf.GraphKeys.QUEUE_RUNNERS | 处理输入的QueueRunner | 输入处理 |
tf.GRaphKeys.MOVING_AVEGAGE_VARIABLES | 所有计算了滑动平均值的变量 | 计算变量的滑动平均值 |
函数名称 | 随机数分布 | 主要参数 |
---|---|---|
tf.random_normal | 正太分布 | 平均值、标准差、取值类型 |
tf.truncated_normal | 正太分布,如果随机出来的值偏离均值超过2个标准差,重新随机 | 平均值、标准差、取值类型 |
tf.random_uniform | 平均分布 | 最小、最大取值、取值类型 |
tf.random_gamma | Gamma分布 | 形状参数alpha、尺度参数beta、取值类型 |
函数名称 | 功能 | 样例 |
---|---|---|
tf.zeros | 产生全0数组 | tf.zeros([2,3],int32)–>[[0,0,0],[0,0,0]] |
tf.ones | 产生全1数组 | tf.ones(2,3],int32)–>[[1,1,1],[1,1,1]] |
tf.fill | 产生一个给定值的数组 | tf.fill([2,3],9)–>[[9,9,9],[9,9,9]] |
tf.constant | 产生一个给定值常量 | tf.constant([1,2,3])–>[1,2,3] |
训练神经网络步骤:
1. 定义神经网络结构和前向床波输出结果
2. 定义损失函数及反向传播优化算法
3. 生成会话(tf.Session)并在训练数据上反复运行反向传播优化算法
03 代码
# 《TensorFlow实战Google深度学习框架》03 TensorFlow入门
# win10 Tensorflow1.0.1 python3.5.3
# CUDA v8.0 cudnn-8.0-windows10-x64-v5.1
# filename:ts03.01.py
'''
tensorflow的计算模型:计算图--tf.Graph
tensorflow的数据模型:张量--tf.Tensor
tensorflow的运行模型:会话--tf.Session
tensorflow可视化工具:TensorBoard
通过集合管理资源:tf.add_to_collection、tf.get_collection
Tensor主要三个属性:名字(name)、维度(shape)、类型(type)
会话Session需要关闭才能释放资源,通过Python的上下文管理器 with ,可以自动释放资源
'''
import tensorflow as tf;
print("tensorflow version: ", tf.VERSION); # 1.0.1
def func00_def():
a = tf.Variable([1.0, 2.0], name="a"); # 变量
b = tf.Variable([2.0, 3.0], name="b");
# result = tf.placeholder(tf.float32, shape=(1, 2), name="result");
g = tf.Graph(); # 图
with tf.Session() as sess: # 会话
with g.device('/cpu:0'): # 设备
init_op = tf.global_variables_initializer();
sess.run(init_op);
result = a + b;
print(sess.run(result));
def func01_constant():
w1 = tf.Variable(tf.random_normal([2, 3], stddev=1));
w2 = tf.Variable(tf.random_normal([3, 1], stddev=1));
x = tf.constant([[0.7, 0.9]]);
a = tf.matmul(x, w1);
y = tf.matmul(a, w2);
sess = tf.Session();
init_op = tf.global_variables_initializer();
sess.run(init_op);
print(sess.run(y));
def func02_placeholder():
w1 = tf.Variable(tf.random_normal([2, 3], stddev=1));
w2 = tf.Variable(tf.random_normal([3, 1], stddev=1));
x = tf.placeholder(tf.float32, shape=(1, 2), name="input");
a = tf.matmul(x, w1);
y = tf.matmul(a, w2);
sess = tf.Session();
init_op = tf.global_variables_initializer();
sess.run(init_op);
# placeholder的赋值
print(sess.run(y, feed_dict={x: [[0.7, 0.9]]}));
func00_def();
func01_constant();
func02_placeholder();
'''输出形式
[ 3. 5.]
[[ 0.5082888]]
[[-0.46202496]]
'''
# 《TensorFlow实战Google深度学习框架》03 TensorFlow入门
# win10 Tensorflow1.0.1 python3.5.3
# CUDA v8.0 cudnn-8.0-windows10-x64-v5.1
# filename:ts03.02.py
import tensorflow as tf
from numpy.random import RandomState
# 1. 定义神经网络的参数,输入和输出节点
batch_size = 8
w1= tf.Variable(tf.random_normal([2, 3], stddev=1, seed=1))
w2= tf.Variable(tf.random_normal([3, 1], stddev=1, seed=1))
x = tf.placeholder(tf.float32, shape=(None, 2), name="x-input")
y_= tf.placeholder(tf.float32, shape=(None, 1), name='y-input')
# 2. 定义前向传播过程,损失函数及反向传播算法
a = tf.matmul(x, w1)
y = tf.matmul(a, w2)
cross_entropy = -tf.reduce_mean(y_ * tf.log(tf.clip_by_value(y, 1e-10, 1.0)))
train_step = tf.train.AdamOptimizer(0.001).minimize(cross_entropy)
# 3. 生成模拟数据集
rdm = RandomState(1)
X = rdm.rand(128,2)
Y = [[int(x1+x2 < 1)] for (x1, x2) in X]
# 4. 创建一个会话来运行TensorFlow程序
with tf.Session() as sess:
init_op = tf.global_variables_initializer()
sess.run(init_op)
# 输出目前(未经训练)的参数取值。
print("w1:", sess.run(w1))
print("w2:", sess.run(w2))
print("\n")
# 训练模型。
STEPS = 5000
for i in range(STEPS):
start = (i * batch_size) % 128
end = (i * batch_size) % 128 + batch_size
sess.run(train_step, feed_dict={x: X[start:end], y_: Y[start:end]})
if i % 1000 == 0:
total_cross_entropy = sess.run(cross_entropy, feed_dict={x: X, y_: Y})
print("After %d training step(s), cross entropy on all data is %g" % (i, total_cross_entropy))
# 输出训练后的参数取值。
print("\n")
print("w1:", sess.run(w1))
print("w2:", sess.run(w2))
''' 输出形式
w1: [[-0.81131822 1.48459876 0.06532937]
[-2.4427042 0.0992484 0.59122431]]
w2: [[-0.81131822]
[ 1.48459876]
[ 0.06532937]]
After 0 training step(s), cross entropy on all data is 0.0674925
After 1000 training step(s), cross entropy on all data is 0.0163385
After 2000 training step(s), cross entropy on all data is 0.00907547
After 3000 training step(s), cross entropy on all data is 0.00714436
After 4000 training step(s), cross entropy on all data is 0.00578471
w1: [[-1.9618274 2.58235407 1.68203783]
[-3.46817183 1.06982327 2.11789012]]
w2: [[-1.82471502]
[ 2.68546653]
[ 1.41819513]]
'''