机器学习实战：TensorFlow构建线性回归模型

在本章中，开始使用简单模型：线性回归来探索 TensorFlow 编程。基于这个例子，我将介绍一些代码基础知识，以及，如何调用学习过程中的各种重要组件，如函数函数或算法梯度下降。
变量之间的关系模型

线性回归是一种用于衡量变量之间关系的统计技术。它的有趣之处在于实现它的算法在概念上不复杂，并且还可以适应各种各样的情况。由于这些原因，我发现用线性回归的例子开始深入研究 TensorFlow 很有意思。

请记住，在两个变量（简单回归）和两个以上变量（多元回归）的情况下，线性回归拟合因变量和自变量之间的关系xi和随机项b。

在本节中，我将创建一个简单的示例来解释 TensorFlow 如何工作，假设我们的数据模型对应简单的线性回归y = W * x + b。为此，我使用一个简单的 Python 程序在二维空间中创建数据，然后我会要求 TensorFlow 在这些点上寻找最适合的直线。

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt

#用TensorFlow构建线性回归模型
#随机生成一千个数据点，数据点的分布围绕y=0.1x+0.3直线，然后用Tensorflow去建立一个回归模型，再找出什么样的w和b能够拟合数据
num_points = 1000;
vectors_set = []
for i in range(num_points):
    x1 = np.random.normal(0.0,0.55)#高斯随机，以0为均值，0.55是标准差
    y1 = x1 * 0.1 + 0.3 +np.random.normal(0.0,0.03)#高斯随机，以0为均值，0.03为标准差
    vectors_set.append([x1,y1])

#数据集
x_data = [v[0] for v in vectors_set]
y_data = [v[1] for v in vectors_set]

plt.scatter(x_data,y_data,c='r')
plt.show()

#有了数据集后开始建立模型
W = tf.Variable(tf.random_uniform([1],-1.0,1.0),name='W')#随机初始化w，生成一维的矩阵，取值[-1，1]之间的随机数，产生的值是均匀分布的
b = tf.Variable(tf.zeros([1]),name='b')#初始化一个一维的b为0的矩阵
y = W *x_data + b

#损失
loss = tf.reduce_mean(tf.square(y-y_data),name='loss')
'''
tensorflow中有一类在tensor的某一维度上求值的函数。如：
求最大值tf.reduce_max(input_tensor, reduction_indices=None, keep_dims=False, name=None)
求平均值tf.reduce_mean(input_tensor, reduction_indices=None, keep_dims=False, name=None)
参数1--input_tensor:待求值的tensor。
参数2--reduction_indices:在哪一维上求解
'''

#适用梯度下降来优化参数，里面的参数是步长（学习率）
optimizer = tf.train.GradientDescentOptimizer(0.5)
#tensorflow提供了多种optimizer，典型梯度下降GradientDescent和Adagrad、Momentum、Nestrov、Adam等变种
#tf.train.GradientDescentOptimizer()使用随机梯度下降算法，使参数沿着 梯度的反方向，即总损失减小的方向移动，实现更新参数.里面的参数是步长（学习率）

#训练的过程就是最小化这个误差值
train = optimizer.minimize(loss,name='train')

see = tf.Session()
#程序通过使用Session()创建会话来与 Tensorflow 库交互；只有在我们调用run()方法时才会创建这个会话，这就是它真正开始运行指定代码的时候。

init = tf.global_variables_initializer()#变量必须先初始化后才可使用
# 要在训练开始前一次性初始化所有可训练变量，请调用 tf.global_variables_initializer()。此函数会返回一个操作，负责初始化 tf.GraphKeys.GLOBAL_VARIABLES 集合中的所有变量
see.run(init)

#看一下初始化时候的W和b分别是多少
print("初始化：","W = ", see.run(W),"b = ", see.run(b),"loss = ", see.run(loss))

#执行三十次的训练，并且显示每次训练后的w，b和loss值
#并且展示初始时的网络模型以及每训练一次更新后的模型
for step in range(30):
    see.run(train)
    print("第",step,"次训练：" ,"W = ", see.run(W), "b = ", see.run(b), "loss = ", see.run(loss))
    plt.plot(x_data, y_data, 'ro')
    plt.plot(x_data, see.run(W) * x_data + see.run(b))
    plt.xlabel('x')
    plt.xlim(-2, 2)
    plt.ylim(0.1, 0.6)
    plt.ylabel('y')
    plt.legend()
    plt.show()

print("最终训练出的模型w和b：" , see.run(W),see.run(b))
plt.scatter(x_data,y_data,c='r')
plt.plot(x_data,see.run(W)*x_data+see.run(b))
plt.show()