《深入了解TensorFlow》笔记——Chapter 3.6 一元线性回归模型实例

线性回归(Linera Regression)是一种回归分析方法，它利用基于最小二乘法函数的回归方程，对一个或多个自变量和因变量之间的关系进行建模。一般情况下，具有N个自变量的N元线性回归模型的形式化定义如下：
$$Y=W^{T}X+b=w_1{x}_1+w_2{x}_2+\cdots +w_n{x}_n+b\text{\hspace{1em}(1)}$$
其中， $W$是权重矩阵，b是偏置量，X是自变量，Y是因变量。
本节我们将利用TensorFlow完成一元线性回归模型训练。

定义超参数

超参数是指模型训练过程中使用的配置参数。超参数的取值往往会影响模型的收敛速度以及预测精度。

# learning rate
lr = 0.01
# training steps
max_steps = 1000

以上便是本次一元线性回归模型训练所需要设置的超参数。

输入数据

在有监督的机器学习中，数据集一般划分为训练集(training set)，验证集(validation set)和测试集(test set)。

训练集用于训练模型；
验证集用于控制模型复杂度；
测试集用于测试模型的性能和泛化能力；

import numpy as np

train_X = np.array([[3.3], [4.4], [5.5], [6.71], [6.93], [4.168], [9.779], [6.182], [7.59], [2.167], [7.042], [10.791], [5.313], [7.997], [5.654], [9.27], [3.1]], dtype=np.float32)

train_Y = np.array([[18.], [23.5], [29.], [35.05], [36.149998], [22.34], [50.395], [32.41], [39.45], [12.335], [36.71], [55.455], [28.065], [41.485], [29.769999], [47.850002], [17.]], dtype=np.float32)

由于一元线性回归模型结构简单，所以不再单独构造验证集和测试集；

构建模型

构建模型是指编写数据流图对应的代码，描述算法模型结构的过程。对于训练数据的属性，可以使用占位符来描述。本例中的x是单精度浮点数，形状定义为[None, 1]，其中None表示支持任意个数的输入，1表示数据维度是一维的。对于变量和计算操作，则使用相应的节点构造方法或者全局函数定义。模型参数W是形状为[1, 1]的单精度浮点数矩阵，偏置量b是单精度浮点数标量，他们分别使用正态分布和零值进行初始化。将X和W都定义为矩阵，是为了方便将所有的训练数据一次性填充以进行推理计算。

# construct model
X = tf.placeholder(tf.float32, shape=[None, 1])
W = tf.Variable(tf.random_normal([1, 1]), name='weight')
b = tf.Variable(tf.zeros([1]), name='bias')
Y = tf.matmul(X, W) + b

定义损失函数

本节针对一元线性回归问题，我们采用均方差作为模型训练损失，即最小二乘法的原理。其定义如下：
$$loss=MSE=\frac{1}{N}\sum _{i=1}^N(y_i-{\hat{y}}_i{)}^2$$
其中，$y_i$是第i个样本预测值，${\hat{y}}_i$是第i个样本真值。

GT = tf.placeholder(tf.float32, shape=[None, 1])
loss = tf.reduce_sum(tf.pow(Y-GT, 2))/train_X.shape[0]

创建优化器

我们采用随机梯度下降优化器计算梯度：

optimizer = tf.train.GradientDescentOptimizer(learning_rate=lr)

定义单步训练操作

利用Optimizer.minimize()进行训练，minimize方法内部实现了compute_gradients & apply_gradients。每执行一次单步训练操作，就会让前向图和后向图依次执行一遍。

train_op = optimizer.minimize(loss)

创建会话

本示例我们只需要定义用于维护训练上下文的会话对象。这里使用Session类的构造方法创建会话，然后调用global_variables_initializer方法初始化全局变量：

with tf.Session() as sess:
	tf.global_variables_initializer().run()

迭代训练

我们设定模型总共迭代次数为1000步，每部训练直接feed所有训练数据，并定期输出参数以及损失值。

with tf.Session() as sess
	print('=> starting training ...')
	for step in range(max_steps):
		sess.run(train_op, feed_dict={X: train_X, GT: train_Y})
		if step % 100 == 0:
			loss_value = sess.run(loss, feed_dict={X: train_X, GT: train_Y})
			print('=> step {}: loss={:.4f}, W={:.4f}, b={:.4f}'.format(
				step, loss_value, sess.run(W)[0, 0], sess.run(b)[0]))
	
	final_loss = sess.run(loss, feed_dict={X: train_X, GT: train_Y})
	weight, bias = sess.run([W, b])
	print('=> final loss: {:.4f}, Weights: {:.4f}, bias: {:.4f}'.format(
		final_loss, weight[0, 0], bias[0]))
	print('=> Linear regression model: Y = {:.4f}*X+{:.4f}'.format(weight[0, 0], bias[0]))
# 输出
"""
=> starting training ...
=> step 0: loss=9.3547, W=4.6705, b=0.5925
=> step 100: loss=0.0543, W=5.0934, b=0.8379
=> step 200: loss=0.0334, W=5.0732, b=0.9808
=> step 300: loss=0.0205, W=5.0574, b=1.0928
=> step 400: loss=0.0126, W=5.0450, b=1.1807
=> step 500: loss=0.0078, W=5.0353, b=1.2496
=> step 600: loss=0.0048, W=5.0277, b=1.3036
=> step 700: loss=0.0029, W=5.0217, b=1.3460
=> step 800: loss=0.0018, W=5.0170, b=1.3792
=> step 900: loss=0.0011, W=5.0134, b=1.4053
=> step 1000: loss=0.0007, W=5.0105, b=1.4257
=> step 1100: loss=0.0004, W=5.0082, b=1.4417
=> step 1200: loss=0.0003, W=5.0064, b=1.4543
=> step 1300: loss=0.0002, W=5.0051, b=1.4642
=> step 1400: loss=0.0001, W=5.0040, b=1.4719
=> step 1500: loss=0.0001, W=5.0031, b=1.4780
=> step 1600: loss=0.0000, W=5.0024, b=1.4827
=> step 1700: loss=0.0000, W=5.0019, b=1.4864
=> step 1800: loss=0.0000, W=5.0015, b=1.4894
=> step 1900: loss=0.0000, W=5.0012, b=1.4917
=> final loss: 0.0000, Weights: 5.0009, bias: 1.4934
=> Linear regression model: Y = 5.0009*X+1.4934
"""

注，本节示例数据是按照train_Y = 5.0 * train_X + 1.5生成的，因此看出回归模型还是比较精准的。