TF入门03-实现线性回归&逻辑回归

之前，我们介绍了TF的运算图、会话以及基本的ops，本文使用前面介绍的东西实现两个简单的算法，分别是线性回归和逻辑回归。本文的内容安排如下：

1. 实现线性回归
2. 算法优化
3. 实现逻辑回归

1. 线性回归

1.1 问题描述

我们将收集到的不同国家的出生率以及平均寿命。通过上图可以发现出生率越高的国家，人口的平均寿命大概率上会越低。

现在，我们想使用线性回归来对这种现象进行描述，之后给定一个国家的出生率后可以来预测其人口的平均寿命。

数据描述如下：

自变量X为出生率，数据类型为float，因变量Y为平均寿命，类型为float；数据集一共有190个数据点。

模型构建：我们使用一种简单的算法-线性回归来描述这个模型，$Y=wX+b$, 其中，w，b均为实数。

1.2 方法实现

我们之前知道TF将计算图的定义与运行分离开来，模型实现时主要分为两个阶段：

1. 定义运算图
2. 使用会话执行运算图，得到计算结果

我们先来进行运算图的定义，这一部分主要是根据公式将模型在graph中定义。

Step1：读取数据

# read_birth_lift_data:读取txt文件数据
data, n_samples = utils.read_birth_life_data(DATA_FILE)

Step2：创建占位符，用于加载数据和标签

#tf.placeholder(dtype, shape=None, name=None)
X = tf.placeholder(tf.float32, name='X')
Y = tf.placeholder(tf.float32, name='Y')

Step3：创建权重参数weight和bias

w = tf.get_variable('weights', initializer=tf.constant(0.0))
b = tf.get_variable('bias', initializer=tf.constant(0.0))

Step 4: 构建模型预测Y

Y_predicted = w * X + b

Step 5：定义损失函数

loss = tf.square(Y_predicted - Y, name='loss')

Step 6: 创建优化器

opt = tf.train.GradientDescentOptimizer(learning_rate=0.001)
optimizer = opt.minimize(loss)

第二阶段：运行计算图

这个阶段又可以分为：

1. 变量初始化
2. 运行优化器，同时使用feed_dict传递数据

完整代码如下：

import os
os.environ['TF_CPP_MIN_LOG_LEVEL']='2'
import time

import numpy as np
import matplotlib.pyplot as plt
import tensorflow as tf

import utils

DATA_FILE = 'data/birth_life_2010.txt'

# Step 1: read in data from the .txt file
data, n_samples = utils.read_birth_life_data(DATA_FILE)
print(type(data))
# Step 2: create placeholders for X (birth rate) and Y (life expectancy)
X = tf.placeholder(tf.float32, name='X')
Y = tf.placeholder(tf.float32, name='Y')

# Step 3: create weight and bias, initialized to 0.0
# Make sure to use tf.get_variable
w = tf.get_variable('weights', initializer=tf.constant(0.0))
b = tf.get_variable('bias', initializer=tf.constant(0.0))

# Step 4: build model to predict Y
Y_predicted = w * X + b

# Step 5: use the square error as the loss function
loss = tf.square(Y_predicted - Y, name='loss')

# Step 6: using gradient descent with learning rate of 0.001 to minimize loss
optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.001).minimize(loss)

start = time.time()

# Create a filewriter to write the model's graph to TensorBoard
writer = tf.summary.FileWriter('./graphs/linreg', tf.get_default_graph())

with tf.Session() as sess:
    # Step 7: initialize the necessary variables, in this case, w and b
    sess.run(tf.global_variables_initializer())

    # Step 8: train the model for 100 epochs
    for i in range(100):
        total_loss = 0