神经网络参数和Tensorflow变量

tensorflow中的变量是张量的一种。

定义变量：

weights=tf.Variable(tf.random_normal([2,3]),stddev=2)#产生一个2*3的矩阵，矩阵的元素是均值为0，标准差为2的随机数，如果要指定均值，可以用mean
bias=tf.Variable(tf.zeros([3]))
w2=tf.Variable(weights.initialized_values()*2.0)

变量必须在使用前进行初始化，tf.Constant()常量不用初始化

初始化方法一：

sess=tf.Session()
#因为w1和w2还没有进行初始化，tensorflow里的变量一定要初始化，
sess.run(w1.initializer)
sess.run(w2.initializer)
print(sess.run(y))
sess.close()

初始化方法二：

#下面的程序展示了通过tf.initialize_all_variables函数实现初始化所有变量的过程
init_op=tf.initialize_all_variables()
sess.run(init_op)

变量之间可以相互赋值，数据类型必须一致，形状不同时有个参数需要设置

sess=tf.Session()
with sess.as_default():
    init_op=tf.initialize_all_variables()
    sess.run(init_op)
    print(sess.run(w2))
    print(sess.run(w1))
   
    sess.run(tf.assign(w1,w2,validate_shape=False))#把w2的值赋值给w1，数据类型一定要一致，如果形状不一样，可以用validate_shape=False
    print(sess.run(w2))
    print(sess.run(w1))

用placeholder来代替一个变量：

为什么要用placeholder?因为如果每次迭代选中的数据都要用一个常量表示，tensorflow都会在计算图里增加个节点，计算图将会非常大，而且利用率低。
placeholder相当于定义了一个位置，这个位置中的数据在程序运行时再指定。需要给出数据类型，不一定需要给出维度。

import tensorflow as tf
w1=tf.Variable(tf.random_normal([2,3],stddev=1))
w2=tf.Variable(tf.random_normal([3,1],stddev=1))
x=tf.placeholder(tf.float32,shape=(3,2),name="input")
a=tf.matmul(x,w1)
y=tf.matmul(a,w2)
sess=tf.Session()
sess.run(tf.initialize_all_variables())
print(sess.run(y,feed_dict={x:[[0.7,0.9],[0.1,0.4],[0.5,0.8]]}))
#在得到一个batch的前向传播后，需要定义一个损失函数来刻画当前的预测值和真实答案之间的差距，然后通过反向传播算法来调整权值
cross_entropy=-tf.reduce_mean(y_*tf.log(tf.clip_by_value(y,1e-10,1.0)))
#tf.clip_by_value(A, min, max)：输入一个张量A，把A中的每一个元素的值都压缩在min和max之间。小于min的让它等于min，大于max的元素的值等于max。
learning_rate=0.001
train_step=tf.train.AdamOptimizer(learning_rate).minimize(cross_entropy)
#常用的优化方法有三种，tf.train.GradientDescentOptimizer,tf.train.AdamOptimizer,tf.train.MomentumOptimizer

#下面给出一个完整的程序来训练神经网络来解决二分类问题
import tensorflow as tf
from numpy.random import RandomState
#通过NumPy工具包生成模拟数据集
batch_size=8
w1=tf.Variable(tf.random_normal([2,3],stddev=1,seed=1))
w2=tf.Variable(tf.random_normal([3,1],stddev=1,seed=1))
x=tf.placeholder(tf.float32,shape=(None,2),name='x-input')
y_=tf.placeholder(tf.float32,shape=(None,1),name='y-output')
#在shape的一个维度上使用None可以方便使用不同的batch大小，反正占位符不用强制声明大小
a=tf.matmul(x,w1)
y=tf.matmul(a,w2)
cross_entropy=-tf.reduce_mean(y_*tf.log(tf.clip_by_value(y,1e-10,1.0)))
train_step=tf.train.AdamOptimizer(0.001).minimize(cross_entropy)
#通过随机数生成一个模拟数据集
rdm=RandomState(1)
dataset_size=128
X=rdm.rand(dataset_size,2)
#这里假设x1+x2<1为1，是正样本
Y=[[int(x1+x2<1)] for (x1,x2) in X]
#创建一个会话来运行
with tf.Session() as sess:
    sess.run(tf.initialize_all_variables())
steps=5000
for i in range(steps):
    start=(i*batch_size)%dataset_size
    end=min(start+batch_size,dataset_size)
    sess.run(train_step,feed_dict={x:X[start:end],y_:Y[start:end]})
    if i%1000==0:
        total_cross_entropy=sess.run(cross_entropy,feed_dict={x:X,y_:Y})