参考:
1、Tensorflow-吴恩达老师课程笔记
2、利用 tf.gradients 在 TensorFlow 中实现梯度下降
1、理论
1、动量梯度下降法
参考:Tensorflow-吴恩达老师课程笔记
2、使用TensorFlow 内置的优化器对 数据集进行回归
原程序参考:TensorFlow 官方文档中文版
# -*- coding: utf8 -*-
import tensorflow as tf
import numpy as np
# 使用 NumPy 生成假数据(phony data), 总共 100 个点.
x_data = np.float32(np.random.rand(2, 100)) # 随机输入
y_data = np.dot([0.100, 0.200], x_data) + 0.300
# 构造一个线性模型
#
b = tf.Variable(tf.zeros([1]))
W = tf.Variable(tf.random_uniform([1, 2], -1.0, 1.0))
y = tf.matmul(W, x_data) + b
# 最小化方差
loss = tf.reduce_mean(tf.square(y - y_data))
optimizer = tf.train.GradientDescentOptimizer(0.5)
train = optimizer.minimize(loss)
# 初始化变量
init = tf.global_variables_initializer()
# 启动图 (graph)
sess = tf.Session()
sess.run(init)
# 拟合平面
for step in range(0, 201):
sess.run(train)
if step % 20 == 0:
print(step, sess.run(W), sess.run(b))
# 得到最佳拟合结果 W: [[0.100 0.200]], b: [0.300]
3、利用 tf.gradients 在 TensorFlow 中实现梯度下降
参考:利用 tf.gradients 在 TensorFlow 中实现梯度下降
# -*- coding: utf8 -*-
import tensorflow as tf
import numpy as np
# 使用 NumPy 生成假数据(phony data), 总共 100 个点.
x_data = np.float32(np.random.rand(2, 100)) # 随机输入
y_data = np.dot([0.100, 0.200], x_data) + 0.300
# 构造一个线性模型
#
b = tf.Variable(tf.zeros([1]))
W = tf.Variable(tf.random_uniform([1, 2], -1.0, 1.0))
y = tf.matmul(W, x_data) + b
# 最小化方差
loss = tf.reduce_mean(tf.square(y - y_data))
# optimizer = tf.train.GradientDescentOptimizer(0.5)
# train = optimizer.minimize(loss)
# Computing the gradient of cost with respect to W and b
grad_W, grad_b=tf.gradients(loss,[W,b])
learning_rate=0.5
# Gradient Step
new_W = W.assign(W - learning_rate * grad_W) # 相当于 W-=learning_rate*grad_W
new_b = b.assign(b - learning_rate * grad_b) # 相当于 b-=learning_rate*grad_b
# 初始化变量
init = tf.global_variables_initializer()
# 启动图 (graph)
sess = tf.Session()
sess.run(init)
# 拟合平面
for step in range(0, 201):
# sess.run(train)
# Fit training using batch data
# _, _, c = sess.run([new_W, new_b, loss])
_, _= sess.run([new_W, new_b])
if step % 20 == 0:
print(step, sess.run(W), sess.run(b))
# 得到最佳拟合结果 W: [[0.100 0.200]], b: [0.300]