暑假补强-2：用tensorflow写简单的神经网络并将结果可视化（跟着莫烦python的视频学习）

本文链接：https://blog.csdn.net/weixin_40753620/article/details/95899924

暑假补强-2：用tensorflow写简单的神经网络（跟着莫烦python的视频学习）

需要用到的包

tensorflow as tf
numpy as np
matplotlib.pyplot as plt

开始！

添加层函数add_layer

首先写一个添加层的函数add_layer，以方便自己想随时往神经网络中加入神经层

def add_layer(inputs, in_size, out_size, activation_function=none):
	'''
	inputs是输入的数据，in_size是输入数据的维度，
	out_size是输出数据的维度，activation_function是使用的激活函数
	'''
	# 首先定义权重参数Weights(tf.random_normal()从正态分布中取出随机值
	Weights = tf.Variable(tf.random_normal([in_size, out_size])
	
	# 定义偏差参数biases biases不设置为0，百度了一下原因，是为了避免dead neuron，至于具体原因，以后再考究一下
	biases = tf.Variable(tf.zeros([1, out_size]) + 0.1)
	
	# 定义好两个参数以后，就可以进行计算了 inputs和Weights的顺序不能乱，tf.matmul是对两个矩阵进行乘法运算，如果两个顺序颠倒，则通常无法运算
	Wx_plus_b = tf.matmul(inputs, Weights) + biases
	
	# 最后定义一下激活函数
	if activation_function is None:
		outputs = Wx_plus_b
	else:
		outputs = activation_function(Wx_plus_b)
	return outputs

至此，我们已经写好了添加层函数

使用numpy生成数据

接下来，先生成一些数据

输入值x_data(shape (300, 1))
np.linspace()函数生成的是在指定范围内的等差数列，以下则生成了从-1到1的含300个元素的等差数列。
np.newaxis 是增加新维度，而[:, np.newaxis]，则是在列上增加一个轴（新维度）。同样地，[np.newaxis, :]则是在行上增加一个轴（新维度）。
具体可以参考https://blog.csdn.net/weixin_42866962/article/details/82811082

x_data = np.linspace(-1, 1, 300, dtype=np.float32)[:,np.newaxis]

噪音noise(shape (300, 1))
获得一个size和x_data一样的，均值为0，标准差为0.05的分布样本

noise = np.random.normal(0, 0.05, x_data.shape).astype(np.float32)

标签值y_data
y_data = x_data² - 0.5 + noise

y_data = np.square(x_data) - 0.5 + noise

建立Placeholder先占个位

Placeholder里面还是蕴藏着很多学问的，具体的参考这个大佬的博文：https://blog.csdn.net/kdongyi/article/details/82343712
这里的None表示任何维度都可以

xs = tf.placeholder(tf.float32, [None, 1])
ys = tf.placeholder(tf.float32, [None, 1])

添加神经网络层

接下来，用到前面所写的add_layer来添加层。
首先是隐藏层l1
输入为placeholder xs，输入一个节点，输出10个节点，相当于10个神经元，激活函数使用的是tf里的relu

l1 = add_layer(xs, 1, 10, activation_function=tf.nn.relu)

输出层prediction
输入为 l1的结果，输入10个节点，输出1个节点，得到对于输入的预测值

prediction = add_layer(l1, 10 ,1, activation_function=None)

定义损失函数loss

就是对预测值和真实值的差取平方求和再平均，reduction_indices参考这篇知乎的答案https://www.zhihu.com/question/51325408/answer/125426642

loss = tf.mean(tf.sum(tf.square(ys-prediction), reduction_indices=[1]))

使用优化器进行训练

train_step = tf.train.GradientDescentOptimizer(learning_rate=0.01).minimize(loss)

初始化参数

init = tf.global_variables_initializer()

建立会话

在这里，建立会话后并执行初始化

sess = tf.Session()
sess.run(init)

会话和初始化都是很重要的，在tensorflow中，只有tf.Session().run才会执行定义的运算

画出数据散点图

# 创建一个figure
fig = plt.figure()
# 创建编号为1的1×1的子图
ax = fig.add_subplot(1, 1, 1)
# 在子图ax上绘制出x_data对应y_data的散点图
ax.scatter(x_data, y_data)
# 连续显示
plt.ion()
# 显示图片
plt.show()

开始训练并画图

for i in range(1000):
	sess.run(train_step, feed_dict={xs:x_data, ys:y_data})
	if i %50 == 0:
	# 每隔50次显示一次结果，并移除上一次的线
		try:
			ax.lines.remove(lines[0])
		except Exception:
			pass
		prediction_value = sess.run(prediction, feed_dict={xs:x_data}
		# 画出预测值的线
		lines = ax.plot(x_data, prediction_value, 'r-', lw=5)
		# 每隔0.5秒画一次

使用pycharm写程序的，还需要改一下其他的设置
取消勾选Show plots in tool windows
并在程序最后加上这两句（不要问我为什么，从b站弹幕上找到的）

plt.ioff()
plt.show()

完整代码

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt

def add_layer(input_data, in_size, out_size, activation_function=None):
    Weights = tf.Variable(tf.random_normal([in_size, out_size]))
    biases = tf.Variable(tf.zeros([1, out_size]) + 0.1)
    Wx_plus_b = tf.matmul(input_data, Weights) + biases
    if activation_function is None:
        outputs = Wx_plus_b
    else:
        outputs = activation_function(Wx_plus_b)
    return outputs

x_data = np.linspace(-1, 1, 300, dtype=np.float32)[:,np.newaxis]
noise = np.random.normal(0, 0.05, x_data.shape).astype(np.float32)
y_data = np.square(x_data) - 0.5 + noise

xs = tf.placeholder(tf.float32, [None, 1])
ys = tf.placeholder(tf.float32, [None, 1])

l1 = add_layer(xs, 1, 10, activation_function=tf.nn.relu)
prediction = add_layer(l1, 10, 1, activation_function=None)

loss = tf.reduce_mean(tf.reduce_sum(tf.square(ys-prediction), reduction_indices=[1]))

train_step = tf.train.ProximalGradientDescentOptimizer(0.1).minimize(loss)
# train_step = tf.train.MomentumOptimizer(0.01, 0.9).minimize(loss)

init = tf.global_variables_initializer()
sess = tf.Session()
sess.run(init)

fig = plt.figure()
ax = fig.add_subplot(1, 1, 1)
ax.scatter(x_data, y_data)
plt.ion()
plt.show()

for i in range(1000):
    sess.run(train_step, feed_dict={xs : x_data, ys : y_data})
    if i % 50 == 0:
        try:
            ax.lines.remove(lines[0])
        except Exception:
            pass
        print(sess.run(loss, feed_dict={xs:x_data, ys: y_data}))

        prediction_value = sess.run(prediction, feed_dict={xs:x_data})
        lines = ax.plot(x_data, prediction_value, 'r-', lw=5)
        plt.pause(0.5)
plt.ioff()
plt.show()