1.变量——Variables
一个计数器的例子:变量,常量,assign的应用
import tensorflow as tf
state = tf.Variable(0,name='counter')
# 创建一个变量,即计数器
cons = tf.constant(1)
new_value = tf.add(state,cons)
update = tf.assign(state,new_value)
# 创建常量,并且执行加法的op,再更新变量
init_op = tf.initialize_all_variables()
# 所有变量初始化
# 最后运行流程图
with tf.Session() as sess:
sess.run(init_op)
sess.run(state)
for state in range(10):
print(sess.run(update))
2.对op中Tensor的操作
Fetch——取值
Feed和placeholder:通过placeholder()为变量创建指定数据类型,再在run(op)里用feed_dict赋值
tf.placeholder(dtype,shape=None,name=None)#占位的作用
a = tf.placeholder(tf.float32)
b = tf.placeholder(tf.float32)
output = tf.add(a,b)
with tf.Session() as sess:
# 通过feed_dict来输入
print(sess.run(output,feed_dict={a:5,b:12}))
3.汇总例子——添加层:激励函数
random_normal:随机数
import tensorflow as tf
def add_layer(inputs,in_size,out_size,activation_function=None):
Weights = tf.Variable(tf.random_normal([in_size,out_size]))
# 关于random_normal:tf.random_normal(shape, mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, name=None)
# mean:均值,stddev:标准差
biases = tf.Variable(tf.zeros([1,out_size])+0.1)#推荐biases不为0
Wx_plus_b = tf.matmul(inputs,Weights)+ biases#初始未处理的值
if activation_function is None:
outputs = Wx_plus_b
else:
outputs = activation_function(Wx_plus_b)
return outputs
4.构造一个简单的神经网络
创造一个数据集(输入层)——定义隐藏层——定义输出层——设置训练方法
最后会不停的减小误差
import tensorflow as tf
import numpy as np
import add
x_data = np.linspace(-1,1,300)[:,np.newaxis]
# numpy.linspace(start, stop, num=50, endpoint=True, retstep=False, dtype=None)
# 在两个数之间均匀返回N个数,np.newaxis就是增加维数,给数组增加一根轴
noise = np.random.normal(0,0.05,x_data.shape)
# 加入噪点,让数据更真实
#np.random.normal(均值,标准差,shape)
y_data = np.square(x_data)-0.5+noise#square是平方
# 定义输入给train_step的值
ys = tf.placeholde(tf.float32,[None,1])
xs = tf.placeholder(tf.float32,[None,1])
# None是指无论给多少例子都可以,即shape为(n,1)
# 定义隐藏层
l1 = add.add_layer(xs,1,10,activation_function=tf.nn.relu)# 这里是假设隐藏层有10个神经元
# 定义输出层
prediction = add.add_layer(l1,10,1,activation_function=None)
# 定义完之后进行预测
loss = tf.reduce_mean(tf.reduce_sum(tf.square(ys-prediction),reduction_indices=1))
# tf.reduce_mean:求平均值。reduce_sum:求和,reducton_indices表示按照指定轴进行求和,也就是求出一个一维阵
train_step = tf.train.GradientDescentOptimizer(0.1).minimize(loss)#训练
#GradientDescentOptimizer是一个类,(学习效率(<1)).minimize()是一个减小的方法
init = tf.global_variables_initializer()
# 初始化所有变量,才可以开始运算
with tf.Session() as sess:
sess.run(init)
for i in range(1000):
sess.run(train_step,feed_dict={xs:x_data,ys:y_data})
if i%50==0:
print(sess.run(loss,feed_dict={xs:x_data,ys:y_data}))
5.结果可视化
也就是用matplotlib库,今天暂时不学习这个库
fig = plt.figure()
ax = fig.add_subplot(1,1,1)
ax.scatter(x_data,y_data)
plt.ion()
plt.show()
6.加速训练的方法
大多数方法是在更新神经网络的参数上做功夫,可以理解为对于不同的数据使用不同的参数,例如Adam
optimizer——优化器,有很多种
https://www.bilibili.com/video/av16001891/?p=19