利用Tensorflow实现多层感知器MLP

一、什么是Tensorflow

   TensorFlow 表达了高层次的机器学习计算，大幅简化了第一代系统，并且具备更好的灵活性和可延展性。
   TensorFlow，简单看就是Tensor和Flow，即意味着Tensor和Flow是TensorFlow最为基础的要素；Tensor意味着data，Flow意味着流动（意味着计算，意味着映射，即数据的流动，数据的计算,数据的映射,同时也体现数据是有向的流动、计算和映射）。

二、准备

1、网络结构：

   43个输入层神经元，60个隐层神经元，60个隐层神经元，1个输出神经元，为减少梯度弥散现象，设置relu（非线性映射函数）为隐层激活函数，这种激活函数更接近生物神经元的工作机制，即在达到阈值之前持续抑制，在超越阈值之后开始兴奋。输出层为一个神经元，使用sigmoid激活函数。

2、Dropout：

   过拟合是机器学习尤其是神经网络任务中经常发生的问题，除了随机梯度下降的一系列方法外（如小批次训练进行参数调整），还可将神经网络某一层的输出节点数据随机丢弃一部分，即令这部分节点输出值为0。这样做等价于创造出很多新样本，通过增大样本量，减少特征数量来防止过拟合。dropout也算是一种bagging方法，可以将每次丢弃节点输出视为对特征的一次采样，相当于我们训练了一个ensemble的神经网络模型，对每个样本都做特征采样，并构成一个融合的神经网络。

3、学习效率：

   神经网络的训练通常不是一个凸优化问题，有很多局部最优，因此通常不会采用标准的梯度下降算法，而是采用一些有更大可能跳出局部最优的算法，常用的如随机梯度下降SGD，而SGD本身也不稳定，其结果也会在最优解附近波动，且设置不同的学习效率可能会导致我们的网络落入截然不同的局部最优之中。对于SGD，我们希望开始训练时学习率大一些，以加速收敛的过程，而后期学习率低一些，以更稳定地落入局部最优解，因此常使用Adagrad、Adam等自适应的优化方法，可以在其默认参数上取得较好的效果；各优化方法比较。

三、实现MLP

   以利用MLP进行入侵检测为例。

1、首先定义参数、权重和偏置

#===================
#定义参数、权重和偏置
#===================
# Parameters参数
learning_rate = 0.0001
training_epochs = 5
batch_size = 50000
display_step = 1
# Network Parameters网络结构
n_input = 43
n_hidden_1 = 60  # 1st layer number of features
n_hidden_2 = 60  # 2nd layer number of features
n_classes = 2#二分类
# tf Graph input 输入
x = tf.placeholder("float", [None, n_input])#占位，输入维度和数据类型
y = tf.placeholder("float", [None, n_classes])#占位，输出维度和数据类型
# Store layers weight & bias 权重和偏置
weights = {
    'h1': tf.Variable(tf.random_normal([n_input, n_hidden_1])),
    'h2': tf.Variable(tf.random_normal([n_hidden_1, n_hidden_2])),
    'out': tf.Variable(tf.random_normal([n_hidden_2, n_classes]))
}
biases = {
    'b1': tf.Variable(tf.random_normal([n_hidden_1])),
    'b2': tf.Variable(tf.random_normal([n_hidden_2])),
    'out': tf.Variable(tf.random_normal([n_classes]))
}

2、定义前馈神经网络

#====================
#前向传播算法，使用ReLU激活函数，并进行Dropout降采样
#====================
def multilayer_perceptron(x, weights, biases):
    # Hidden layer with RELU activation
    layer_1 = tf.add(tf.matmul(x, weights['h1']), biases['b1'])#tf.matmul矩阵乘法，然后各个维度加上偏置
    layer_1 = tf.nn.relu(layer_1)#第一个隐层的输出
    # Hidden layer with RELU activation
    layer_2 = tf.add(tf.matmul(layer_1, weights['h2']), biases['b2'])
    layer_2 = tf.nn.relu(layer_2)#第二个隐层的输出
    # Output layer with linear activation
    out_layer = tf.matmul(layer_2, weights['out']) + biases['out']
    out_layer = tf.nn.softmax(out_layer)
    return out_layer

3、模型训练与存储

#=======================
#模型训练和存储
#=======================
def multilayer_perceptron_train_save(x, weights, biases,x_train, y_train):
    # Construct model
    pred = multilayer_perceptron(x, weights, biases)
    # Define loss and optimizer
    cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=pred, labels=y))
    optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate).minimize(cost)
    saver = tf.train.Saver()# Initiate tf saver
    model_path =r'E:\all_models\model.ckpt'
    sess = tf.InteractiveSession()# Starting Session
    tf.global_variables_initializer().run()# Initializing the variables
    for epoch in range(training_epochs):
        sess.run(optimizer, feed_dict={x: x_train, y : y_train})
        cc = sess.run(cost, feed_dict={x: x_train, y : y_train})
        if epoch % display_step == 0:
            correct_prediction = tf.equal(tf.argmax(pred, 1), tf.argmax(y, 1))# Test model
            accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
            accuracy_percentage = sess.run(accuracy, feed_dict={x: x_train, y : y_train})
            print("Training Step: ", "%04d" % (epoch), 'cost=', "{:.9f}".format(cc), "Accuracy: ", accuracy_percentage)
            xpoints.append(epoch)
            ypoints.append(accuracy_percentage * 100)
    print("Optimization Finished!")
    print(xpoints, ypoints)
    plt.plot(xpoints, ypoints)
    plt.xlabel('Epochs')
    plt.ylabel('Accuracy Percentage')
    plt.title("Model Accuracy vs No of Epochs")
    plt.legend()
    plt.show()
    save_path = saver.save(sess, model_path)
    print("Model saved in file: %s" % save_path)
    return save_path