TensorFlow入门

一,TensorFlow计算模型:计算图

TensorFlow中每一个计算都是计算图上的一个节点,节点之间的边描述了计算之间的依赖关系。

比如这个节点add是一个运算,依赖于读取值常量a,b;

如果有其他节点计算,节点之间也可以通过边互相依赖,比如这个add节点可以指向另一个节点,意味着add的输出作为两一个节点计算的输入。

通过tf.get_default_graph可以获取当前默认的计算图:

print (a.graph is tf.get_default_graph())  #true

通过tf.Graph函数生成新的计算图:

g1=tf.Graph()
with g1.as_default():
    v=tf.get_variable("v",initializer=tf.zeros_initializer(shape=[1]))
#在计算图g1中定义了变量v,并设置初始值为0

g2=tf.Graph()
with g2.as_default():
    v=tf.get_variable("v",initializer=tf.ones_initializer(shape=[1]))
#在计算图g2中定义了变量v,并设置初始值为1


#在计算图g1中读取v
with tf.Session(graph=g1) as sess:
    tf.initialize_all_variables().run()
    with tf.variable_scope("",reuse=True):
        print(sess.run(tf.get_variable("v")))


#在计算图g2中读取v
with tf.Session(graph=g2) as sess:
    tf.initialize_all_variables().run()
    with tf.variable_scope("",reuse=True):
        print(sess.run(tf.get_variable("v")))

二,张量

张量保存的不是数字,而是运行结果属性。

比如Tensor("add:0",shape=(2,),dtype=float32),保存了名字,维度,类型。

其中名字“add:0”表示形式是node:src_output,也就是add节点的第1个(编号从0开始)输出。

 

三,会话Session

#创建会话
sess=tf.Session()
#使用会话得到运算结果
sess.run(result)
#关闭会话
sess.close()
#PYTHON的上下文管理器来管理会话,避免因为异常关闭导致的资源泄露
with tf.Session() as sess:
    sess.run(result)

#不需要调用close()关闭会话,上下文推出的时候会话关闭,资源释放
#计算张量的取值的方法
#1
sess=tf.Session()
with sess.as_default():
    print (result.eval())

#2
sess=tf.Session()
print(sess.run(result))

#3
sess=tf.Session()
print(result.eval(session=sess))

#构建默认会话:tf.InteractiveSession,省去将会话注册为默认会话的过程
sess=tf.InteractiveSession()
print(result.eval())
sess.close()

通过ConfigProto Protocol Buffer配置会话:

allow_soft_placement是布尔型参数,设置是否从GPU机器在满足条件情况下转CPU运行。

log_device_placement,为true记录节点被安排在哪个设备。

 

四,实现神经网络

特征向量:描述实体的数字的组合

-矩阵乘法:tf.matmul

a=tf.matmul(x,w1)

-tf.Variable:保存和更新神经网络中的参数

指定初始值:tf.Variable(tf.random_normal([2,3], stddev=2)),随机初始化一个2*3矩阵,均值为0,标准差为2.

随机数生成器:

常数生成函数:

在每次定义了变量初始化方法,并没有被真正运行,需要通过w.initializer给变量赋值

可以通过下面语句给所有变量初始化:

init_op= tf.initialize_all_variables()

sess.run(init_op)

placeholder:定义一个位置,指定了数据类型,在程序运行时再指定数据。指定采用:

feed_dect={x: [ [0.7, 0.9]]}进行指定取值。

简单神经网络训练:

import tensorflow as tf 

from numpy.random import RandomState

batch_size=8

w1=tf.Variable(tf.random_normal([2,3],stddev=1,seed=1))
w2=tf.Variable(tf.random_normal([3,1],stddev=1,seed=1))

x=tf.placeholder(tf.float32,shape=(None,2),name="x-input")
y_=tf.placeholder(tf.float32,shape=(None,1),name="x-input")

a=tf.matmul(x,w1)
y=tf.matmul(a,w2)

cross_entropy= -tf.reduce_mean(y_*tf.log(tf.clip_by_value(y,1e-10,1.0)))
train_step=tf.train.AdamOptimizer(0.001).minimize(cross_entropy)

rdm=RandomState(1)
dataset_size=128
X=rdm.rand(dataset_size,2)
Y=[[int(x1+x2<1)] for (x1,x2) in X]

with tf.Session() as sess:
    init_op = tf.initialize_all_variables()
    sess.run(init_op)
    print sess.run(w1)
    print sess.run(w2)


    STEPS=5000
    for i in range(STEPS):
        start=(i*batch_size) % dataset_size
        end=min(start+batch_size,dataset_size)

        sess.run(train_step,feed_dict={x:X[start:end],y_:Y[start:end]})
        if i%1000==0:
            total_cross_entropy=sess.run(cross_entropy,feed_dict={x:X,y_:Y})
            print("After %d training steps,cross_entropy on all data is %g" %(i,total_cross_entropy))
    print sess.run(w1)
    print sess.run(w2)

其他点:

  • softmax回归之后的交叉熵损失函数:

cross_entropy=tf.nn.softmax_cross_entropy_with_logits(y,y_)

  • 均方误差损失函数:

mse=tf.reduce_mean(tf.square(y_ - y))

  • 自定义损失函数:
  • loss=tf.reduce_sum(tf.select(tf.greater(v1,v2),(v1-v2)*a,(v2-v1)*b))
  • tf.greater输入两个张量,比较大小后返回结果。
  • tf.select三个参数,第一个参数条件根据,true则选择第二个参数,false选择第三个参数的值。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值