TensorFlow学习记录——4.24

1.变量——Variables
一个计数器的例子：变量，常量，assign的应用

import tensorflow as tf

state = tf.Variable(0,name='counter')
# 创建一个变量，即计数器

cons = tf.constant(1)
new_value = tf.add(state,cons)
update = tf.assign(state,new_value)
# 创建常量，并且执行加法的op，再更新变量

init_op = tf.initialize_all_variables()
# 所有变量初始化

# 最后运行流程图
with tf.Session() as sess:
    sess.run(init_op)
    sess.run(state)
    for state in range(10):
        print(sess.run(update))

2.对op中Tensor的操作
Fetch——取值
Feed和placeholder：通过placeholder（）为变量创建指定数据类型，再在run（op）里用feed_dict赋值

tf.placeholder(dtype,shape=None,name=None)#占位的作用
a = tf.placeholder(tf.float32)
b = tf.placeholder(tf.float32)
output = tf.add(a,b)

with tf.Session() as sess:
    # 通过feed_dict来输入    
    print(sess.run(output,feed_dict={a:5,b:12}))

3.汇总例子——添加层：激励函数
random_normal：随机数

import tensorflow as tf

def add_layer(inputs,in_size,out_size,activation_function=None):
    Weights = tf.Variable(tf.random_normal([in_size,out_size]))
    # 关于random_normal:tf.random_normal(shape, mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, name=None)
    # mean:均值，stddev:标准差
    biases = tf.Variable(tf.zeros([1,out_size])+0.1)#推荐biases不为0
    Wx_plus_b = tf.matmul(inputs,Weights)+ biases#初始未处理的值
    if activation_function is None:
        outputs = Wx_plus_b
    else:
        outputs = activation_function(Wx_plus_b)
    return  outputs

4.构造一个简单的神经网络
创造一个数据集（输入层）——定义隐藏层——定义输出层——设置训练方法
最后会不停的减小误差

import tensorflow as tf
import numpy as np
import add
x_data = np.linspace(-1,1,300)[:,np.newaxis]
# numpy.linspace(start, stop, num=50, endpoint=True, retstep=False, dtype=None)
# 在两个数之间均匀返回N个数，np.newaxis就是增加维数，给数组增加一根轴
noise = np.random.normal(0,0.05,x_data.shape)
# 加入噪点,让数据更真实
#np.random.normal(均值，标准差,shape)
y_data = np.square(x_data)-0.5+noise#square是平方


# 定义输入给train_step的值
ys = tf.placeholde(tf.float32,[None,1])
xs = tf.placeholder(tf.float32,[None,1])
# None是指无论给多少例子都可以，即shape为(n,1)

# 定义隐藏层
l1 = add.add_layer(xs,1,10,activation_function=tf.nn.relu)# 这里是假设隐藏层有10个神经元
# 定义输出层
prediction = add.add_layer(l1,10,1,activation_function=None)

# 定义完之后进行预测
loss = tf.reduce_mean(tf.reduce_sum(tf.square(ys-prediction),reduction_indices=1))
# tf.reduce_mean:求平均值。reduce_sum:求和，reducton_indices表示按照指定轴进行求和,也就是求出一个一维阵

train_step = tf.train.GradientDescentOptimizer(0.1).minimize(loss)#训练
#GradientDescentOptimizer是一个类，（学习效率（<1））.minimize()是一个减小的方法

init = tf.global_variables_initializer()
# 初始化所有变量，才可以开始运算
with tf.Session() as sess:
    sess.run(init)

    for i in range(1000):
        sess.run(train_step,feed_dict={xs:x_data,ys:y_data})
        if i%50==0:
            print(sess.run(loss,feed_dict={xs:x_data,ys:y_data}))

5.结果可视化
也就是用matplotlib库，今天暂时不学习这个库

 fig = plt.figure()
    ax = fig.add_subplot(1,1,1)
    ax.scatter(x_data,y_data)
    plt.ion()
    plt.show()

6.加速训练的方法
大多数方法是在更新神经网络的参数上做功夫，可以理解为对于不同的数据使用不同的参数，例如Adam

optimizer——优化器，有很多种
https://www.bilibili.com/video/av16001891/?p=19