tf.gradients实现回归

参考：

1、Tensorflow-吴恩达老师课程笔记
2、利用 tf.gradients 在 TensorFlow 中实现梯度下降

---

1、理论

1、动量梯度下降法
参考：Tensorflow-吴恩达老师课程笔记

2、使用TensorFlow 内置的优化器对 数据集进行回归

原程序参考：TensorFlow 官方文档中文版

# -*- coding: utf8 -*-

import tensorflow as tf
import numpy as np

# 使用 NumPy 生成假数据(phony data), 总共 100 个点.
x_data = np.float32(np.random.rand(2, 100)) # 随机输入
y_data = np.dot([0.100, 0.200], x_data) + 0.300

# 构造一个线性模型
#
b = tf.Variable(tf.zeros([1]))
W = tf.Variable(tf.random_uniform([1, 2], -1.0, 1.0))
y = tf.matmul(W, x_data) + b

# 最小化方差
loss = tf.reduce_mean(tf.square(y - y_data))
optimizer = tf.train.GradientDescentOptimizer(0.5)
train = optimizer.minimize(loss)

# 初始化变量
init = tf.global_variables_initializer()

# 启动图 (graph)
sess = tf.Session()
sess.run(init)

# 拟合平面
for step in range(0, 201):
    sess.run(train)
    if step % 20 == 0:
        print(step, sess.run(W), sess.run(b))

# 得到最佳拟合结果 W: [[0.100  0.200]], b: [0.300]

3、利用 tf.gradients 在 TensorFlow 中实现梯度下降

参考：利用 tf.gradients 在 TensorFlow 中实现梯度下降

# -*- coding: utf8 -*-

import tensorflow as tf
import numpy as np

# 使用 NumPy 生成假数据(phony data), 总共 100 个点.
x_data = np.float32(np.random.rand(2, 100)) # 随机输入
y_data = np.dot([0.100, 0.200], x_data) + 0.300

# 构造一个线性模型
#
b = tf.Variable(tf.zeros([1]))
W = tf.Variable(tf.random_uniform([1, 2], -1.0, 1.0))
y = tf.matmul(W, x_data) + b

# 最小化方差
loss = tf.reduce_mean(tf.square(y - y_data))
# optimizer = tf.train.GradientDescentOptimizer(0.5)
# train = optimizer.minimize(loss)

# Computing the gradient of cost with respect to W and b
grad_W, grad_b=tf.gradients(loss,[W,b])

learning_rate=0.5
# Gradient Step
new_W = W.assign(W - learning_rate * grad_W) # 相当于 W-=learning_rate*grad_W
new_b = b.assign(b - learning_rate * grad_b) # 相当于 b-=learning_rate*grad_b

# 初始化变量
init = tf.global_variables_initializer()

# 启动图 (graph)
sess = tf.Session()
sess.run(init)

# 拟合平面
for step in range(0, 201):
    # sess.run(train)
    # Fit training using batch data
    # _, _, c = sess.run([new_W, new_b, loss])
    _, _= sess.run([new_W, new_b])

    if step % 20 == 0:
        print(step, sess.run(W), sess.run(b))

# 得到最佳拟合结果 W: [[0.100  0.200]], b: [0.300]