一,TensorFlow计算模型:计算图
TensorFlow中每一个计算都是计算图上的一个节点,节点之间的边描述了计算之间的依赖关系。
比如这个节点add是一个运算,依赖于读取值常量a,b;
如果有其他节点计算,节点之间也可以通过边互相依赖,比如这个add节点可以指向另一个节点,意味着add的输出作为两一个节点计算的输入。
通过tf.get_default_graph可以获取当前默认的计算图:
print (a.graph is tf.get_default_graph()) #true
通过tf.Graph函数生成新的计算图:
g1=tf.Graph()
with g1.as_default():
v=tf.get_variable("v",initializer=tf.zeros_initializer(shape=[1]))
#在计算图g1中定义了变量v,并设置初始值为0
g2=tf.Graph()
with g2.as_default():
v=tf.get_variable("v",initializer=tf.ones_initializer(shape=[1]))
#在计算图g2中定义了变量v,并设置初始值为1
#在计算图g1中读取v
with tf.Session(graph=g1) as sess:
tf.initialize_all_variables().run()
with tf.variable_scope("",reuse=True):
print(sess.run(tf.get_variable("v")))
#在计算图g2中读取v
with tf.Session(graph=g2) as sess:
tf.initialize_all_variables().run()
with tf.variable_scope("",reuse=True):
print(sess.run(tf.get_variable("v")))
二,张量
张量保存的不是数字,而是运行结果属性。
比如Tensor("add:0",shape=(2,),dtype=float32),保存了名字,维度,类型。
其中名字“add:0”表示形式是node:src_output,也就是add节点的第1个(编号从0开始)输出。
三,会话Session
#创建会话
sess=tf.Session()
#使用会话得到运算结果
sess.run(result)
#关闭会话
sess.close()
#PYTHON的上下文管理器来管理会话,避免因为异常关闭导致的资源泄露
with tf.Session() as sess:
sess.run(result)
#不需要调用close()关闭会话,上下文推出的时候会话关闭,资源释放
#计算张量的取值的方法
#1
sess=tf.Session()
with sess.as_default():
print (result.eval())
#2
sess=tf.Session()
print(sess.run(result))
#3
sess=tf.Session()
print(result.eval(session=sess))
#构建默认会话:tf.InteractiveSession,省去将会话注册为默认会话的过程
sess=tf.InteractiveSession()
print(result.eval())
sess.close()
通过ConfigProto Protocol Buffer配置会话:
allow_soft_placement是布尔型参数,设置是否从GPU机器在满足条件情况下转CPU运行。
log_device_placement,为true记录节点被安排在哪个设备。
四,实现神经网络
特征向量:描述实体的数字的组合
-矩阵乘法:tf.matmul
a=tf.matmul(x,w1)
-tf.Variable:保存和更新神经网络中的参数
指定初始值:tf.Variable(tf.random_normal([2,3], stddev=2)),随机初始化一个2*3矩阵,均值为0,标准差为2.
随机数生成器:
常数生成函数:
在每次定义了变量初始化方法,并没有被真正运行,需要通过w.initializer给变量赋值
可以通过下面语句给所有变量初始化:
init_op= tf.initialize_all_variables()
sess.run(init_op)
placeholder:定义一个位置,指定了数据类型,在程序运行时再指定数据。指定采用:
feed_dect={x: [ [0.7, 0.9]]}进行指定取值。
简单神经网络训练:
import tensorflow as tf
from numpy.random import RandomState
batch_size=8
w1=tf.Variable(tf.random_normal([2,3],stddev=1,seed=1))
w2=tf.Variable(tf.random_normal([3,1],stddev=1,seed=1))
x=tf.placeholder(tf.float32,shape=(None,2),name="x-input")
y_=tf.placeholder(tf.float32,shape=(None,1),name="x-input")
a=tf.matmul(x,w1)
y=tf.matmul(a,w2)
cross_entropy= -tf.reduce_mean(y_*tf.log(tf.clip_by_value(y,1e-10,1.0)))
train_step=tf.train.AdamOptimizer(0.001).minimize(cross_entropy)
rdm=RandomState(1)
dataset_size=128
X=rdm.rand(dataset_size,2)
Y=[[int(x1+x2<1)] for (x1,x2) in X]
with tf.Session() as sess:
init_op = tf.initialize_all_variables()
sess.run(init_op)
print sess.run(w1)
print sess.run(w2)
STEPS=5000
for i in range(STEPS):
start=(i*batch_size) % dataset_size
end=min(start+batch_size,dataset_size)
sess.run(train_step,feed_dict={x:X[start:end],y_:Y[start:end]})
if i%1000==0:
total_cross_entropy=sess.run(cross_entropy,feed_dict={x:X,y_:Y})
print("After %d training steps,cross_entropy on all data is %g" %(i,total_cross_entropy))
print sess.run(w1)
print sess.run(w2)
其他点:
- softmax回归之后的交叉熵损失函数:
cross_entropy=tf.nn.softmax_cross_entropy_with_logits(y,y_)
- 均方误差损失函数:
mse=tf.reduce_mean(tf.square(y_ - y))
- 自定义损失函数:
- loss=tf.reduce_sum(tf.select(tf.greater(v1,v2),(v1-v2)*a,(v2-v1)*b))
- tf.greater输入两个张量,比较大小后返回结果。
- tf.select三个参数,第一个参数条件根据,true则选择第二个参数,false选择第三个参数的值。