tensorflow实现多层感知机

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/sinat_29957455/article/details/80574160

在上一篇文章中,介绍了如何使用tensorflow来构建一个单层的神经网络,在训练集和测试集上的准确率达到了92%。这篇文章主要介绍使用tensorflow构建一个多层感知机,可以将模型的准确率提升的98%。相对于之前的单层神经网络,在多层感知机中,我们增加了两个trick,增加了一个relu激活函数和一个dropout操作。有研究表明,为了拟合复杂的函数需要的隐含节点数目,基本上随着隐含层数的增加呈指数下降。也就是说,隐含层数越多,神经网络需要的隐含节点数目越少。层数越深,提取的概念越抽象,神经网络隐含节点越少。当然,随着层数增加的同时会面对过拟合问题,所以我们需要增加一些正则化和dropout来避免过拟合。

1、导入相关包和函数
from tensorflow.examples.tutorials.mnist import input_data
import tensorflow as tf
2、获取数据创建会话
    #获取所有的数据集
    mnist_data = input_data.read_data_sets("/MNIST_data",one_hot=True)
    #创建一个交互式的会话
    sess = tf.InteractiveSession()
3、构建神经网络

构造一个两层的神经网络,输入是一个28×28×1=784维的向量,第一层是有784×300个节点和300个偏置,然后通过relu激活函数使用dropout将部分节点失效,最后输出一个300维的向量。第二层有300×10个节点和10个偏置,第二层使用relu激活函数和dropout,输出一个10维向量。最后,再通过softmax层,输出属于某个数字的概率。

    #定义神经网络的参数
    in_units = 784
    h1_units = 300
    w1 = tf.Variable(tf.truncated_normal([in_units,h1_units],stddev=0.1))
    b1 = tf.Variable(tf.zeros([h1_units],dtype=tf.float32))
    w2 = tf.Variable(tf.truncated_normal([h1_units,10],stddev=0.1),dtype=tf.float32)
    b2 = tf.Variable(tf.zeros([10],dtype=tf.float32))
    #定义输入变量
    x = tf.placeholder(dtype=tf.float32,shape=[None,in_units])
    #定义dropout保留的节点数量
    keep_prob = tf.placeholder(dtype=tf.float32)
    #定义前向传播过程
    h1 = tf.nn.relu(tf.add(tf.matmul(x,w1),b1))
    #使用dropout
    h1_drop = tf.nn.dropout(h1,keep_prob)
    #定义输出y
    y = tf.nn.softmax(tf.matmul(h1_drop,w2)+b2)
    #定义输出变量
    y_ = tf.placeholder(dtype=tf.float32,shape=[None,10])
4、定义损失函数和选择优化算法

损失函数使用的是交叉熵的平均值,优化算法使用的是AdaradOptimizer,优化算法中的学习率设置需要合适,不然可能达不到想要的结果(收敛速度慢,或者无法收敛)。

    #定义损失函数
    loss_func = tf.reduce_mean(-tf.reduce_sum(y_*tf.log(y),reduction_indices=[1]))
    train_step = tf.train.AdagradOptimizer(0.3).minimize(loss_func)
5、验证结果

每次训练使用100张图片,在训练的时候将keep_prob设置为0.75,预测的时候为了将模型达到最好的性能,可以将keep_prob设置为1。

    #初始化变量
    tf.global_variables_initializer().run()
    for i in range(3000):
        batch_xs,batch_ys = mnist_data.train.next_batch(100)
        train_step.run({x:batch_xs,y_:batch_ys,keep_prob:0.75})
    #计算准确率
    correct_pred = tf.equal(tf.argmax(y,1),tf.argmax(y_,1))
    accuracy = tf.reduce_mean(tf.cast(correct_pred,dtype=tf.float32))
    #训练集上的准确率
    print("train accuracy:",accuracy.eval({x:mnist_data.train.images,y_:mnist_data.train.labels,keep_prob:1.0}))
    print("test accuracy:",accuracy.eval({x:mnist_data.test.images,y_:mnist_data.test.labels,keep_prob:1.0}))
    '''
    train accuracy: 0.9917455
    test accuracy: 0.9804
    '''

完整代码链接

展开阅读全文

没有更多推荐了,返回首页