Tensorflow <一> 一层全连接网络实现XOR

注释已经很详细了

# -*- coding: utf-8 -*-
# @author: Zafedom
# @date: 17/5/14 下午9:17

'''
练习tf
使用一层的网络实现xor
这个代码很拼运气，不见得结果好

文档参考：https://yjango.gitbooks.io/superorganism/content/dai_ma_yan_shi.html
代码参考：https://github.com/YJango/tensorflow/blob/master/core_code.ipynb
'''

import tensorflow as tf
import numpy as np

if __name__ == '__main__':


    #create net
    # 网络结构：2维输入 --> 2维隐藏层 --> 1维输出
    # 学习速率（learning rate）：0.0001
    D_input = 2 #输入维度
    D_label = 1
    D_hidden = 2
    lr = 1e-4

    #容器：用tf.placeholder创建输入值和真实值的容器，编程过程中始终是个空的，只有加载到sess中才会放入具体值。这种容器便是存放tensor的数据类型。
    #容器的三个参数：
        # 精度： 如果是用GPU训练，浮点精度要低于32bit，由第一个参数tf.float32定义。
        # 矩阵形状： 输入输出的容器都是矩阵。为的是可以进行mini - batch一次算多个样本的平均梯度来训练。None意味着样本数可随意改变。
        # 命名：控制tensorboard生成图中的名字，也会方便debug。
    x = tf.placeholder(tf.float32, [None, D_input], name="x")
    t = tf.placeholder(tf.float32, [None, D_label], name="t")

    #隐藏层
        # 变量：tensorflow中的变量tf.Variable是用于定义在训练过程中可以更新的值。权重W和偏移b正符合该特点。
        # 初始化：合理的初始化会给网络一个比较好的训练起点，帮助逃脱局部极小值（ or 鞍点）。详细请回顾梯度下降训练法。tf.truncated_normal([D_input, D_hidden], stddev=0.1)
        # 是初始化的一种方法（还有很多种），其中[imcoing_dim, outputing_dim]
        # 是矩阵的形状，前后参数的意义是进入该层的维度（节点个数）和输出该层的维度。stddev = 是用于初始化的标准差。
        # 矩阵乘法：tf.matmul(x, W_h1)
        # 用于计算矩阵乘法
        # 激活函数：除了tf.nn.relu()
        # 还有tf.nn.tanh()，tf.nn.sigmoid()
    #这里的tf.truncated_normal( [D_input, D_hidden], stddev = 0.1 )在run的时候，返回形状为[D_input, D_hidden]的array, 因为是x*w+b ，所以形状是[D_input, D_hidden], 每一列表示第一个hidden的unit
    W_h1 = tf.Variable(tf.truncated_normal([D_input, D_hidden], stddev=0.1), name="W_h")
    b_h1 = tf.Variable(tf.constant(0.1, shape=[D_hidden]), name="b_h")
    pre_act_h1 = tf.matmul(x, W_h1) + b_h1
    # 计算a(Wx+b)，激活用relu
    act_h1  = tf.nn.relu(pre_act_h1, name='act_h')

    W_o = tf.Variable(tf.truncated_normal([D_hidden, D_label], stddev=0.1), name="W_o")
    b_o = tf.Variable(tf.constant(0.1, shape=[D_label]), name="b_o")
    pre_act_o = tf.matmul(act_h1, W_o) + b_o
    y = tf.nn.relu(pre_act_o, name='act_y')

    #反向传播
        # 损失函数：定义想要不断缩小的损失函数。

    # loss = tf.reduce_mean( (y-t)**2 )
    loss = tf.reduce_mean((y - t) ** 2)
    # 更新方法：选择想要用于更新权重的训练方法和每次更新步伐（lr），除tf.train.AdamOptimizer外还有tf.train.RMSPropOptimizer等。默认推荐AdamOptimizer。
    train_step = tf.train.AdamOptimizer(lr).minimize(loss)

    #加载

    X = [[0, 0], [0, 1], [1, 0], [1, 1]]
    Y = [[0], [1], [1], [0]]
    X = np.array(X).astype('int16')
    Y = np.array(Y).astype('int16')

    sess = tf.InteractiveSession()
    tf.initialize_all_variables().run()

    # 训练
    for i in range(20000):
        sess.run(train_step, feed_dict={
            x: X,
            t: Y
            })

    #计算预测值
    print sess.run(y, feed_dict={
        x: X
        })

    # 查看隐藏层的输出
    print sess.run(act_h1, feed_dict={
        x: X
        })


__END__ = True