tensorflow复习日记（五）DropOut

最新推荐文章于 2019-12-05 15:16:58 发布
最新推荐文章于 2019-12-05 15:16:58 发布
阅读量199 收藏 1
点赞数
分类专栏： tensorflow 文章标签： tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/masbbx123/article/details/79573254
版权

上次发现约复杂的网络，拟合能力越强，但是test和train集的准确率差别变大，说明有过拟合的倾向。
下面是代码：

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
#mnist已经作为官方的例子，做好了数据下载，分割，转浮点等一系列工作，源码在tensorflow源码中都可以找到
mnist = input_data.read_data_sets('MNIST_data', one_hot=True)

# 配置每个 GPU 上占用的内存的比例
# 没有GPU直接sess = tf.Session()
gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.95)
sess = tf.Session(config=tf.ConfigProto(gpu_options=gpu_options))
#每个批次的大小
batch_size = 200
#定义训练轮数据
train_epoch = 10
#定义每n轮输出一次
test_epoch_n = 1

#计算一共有多少批次
n_batch = mnist.train.num_examples // batch_size
print("batch_size="+str(batch_size)+"n_batch="+str(n_batch))
#占位符，定义了输入，输出
x = tf.placeholder(tf.float32,[None, 784]) 
y = tf.placeholder(tf.float32,[None, 10]) 
#权重和偏置，使用0初始化
W1 = tf.Variable(tf.truncated_normal([784,2000],stddev=0.1))
b1 = tf.Variable(tf.zeros([2000])+0.1)
#L1 = tf.nn.tanh(tf.matmul(x,W1)+b1)
#L1 = tf.nn.relu(tf.matmul(x,W1)+b1)
L1 = tf.nn.sigmoid(tf.matmul(x,W1)+b1)

W2 = tf.Variable(tf.truncated_normal([2000,1000],stddev=0.1))
b2 = tf.Variable(tf.zeros([1000])+0.1)
#L2 = tf.nn.tanh(tf.matmul(L1,W2)+b2)
#L2 = tf.nn.relu(tf.matmul(L1,W2)+b2)
L2 = tf.nn.sigmoid(tf.matmul(L1,W2)+b2)

W3 = tf.Variable(tf.truncated_normal([1000,100],stddev=0.1))
b3 = tf.Variable(tf.zeros([100])+0.1)
#L3 = tf.nn.tanh(tf.matmul(L2,W3)+b3)
#L3 = tf.nn.relu(tf.matmul(L2,W3)+b3)
L3 = tf.nn.sigmoid(tf.matmul(L2,W3)+b3)

W4 = tf.Variable(tf.truncated_normal([100,10],stddev=0.1))
b4 = tf.Variable(tf.zeros([10])+0.1)
L4 = tf.nn.sigmoid(tf.matmul(L3,W4)+b4)

#这里定义的网络结构
prediction = tf.nn.softmax(L4)

#损失函数是交叉熵
cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y,logits=prediction))
#训练方法：
#train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)
train_step = tf.train.AdamOptimizer(1e-2).minimize(cross_entropy)
#初始化sess中所有变量
init = tf.global_variables_initializer() 
sess.run(init) 

MaxACC = 0#最好的ACC
saver = tf.train.Saver()  

#训练n个epoch
for epoch in range(train_epoch): 
    for batch in range(n_batch):
        batch_xs, batch_ys = mnist.train.next_batch(batch_size) 
        sess.run(train_step, feed_dict = {x: batch_xs, y: batch_ys}) 
    if(0==(epoch%test_epoch_n)):#每若干次预测test一次
        #计算test集的准确率
        correct_prediction = tf.equal(tf.argmax(prediction,1), tf.argmax(y,1))
        accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32)) 
        now_acc=sess.run(accuracy, feed_dict={x:mnist.test.images, y: mnist.test.labels})
        print('epoch=',epoch,'ACC=',now_acc,'train acc =',sess.run(accuracy, feed_dict={x:mnist.train.images, y: mnist.train.labels}))
        if(now_acc>MaxACC):
            MaxACC = now_acc
            saver.save(sess, "Model/ModelSoftmax.ckpt")  
            print('Save model! Now ACC=',MaxACC)

#计算最终test集的准确率
correct_prediction = tf.equal(tf.argmax(prediction,1), tf.argmax(y,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32)) 
print('Train OK! epoch=',epoch,'ACC=',sess.run(accuracy, feed_dict={x:mnist.test.images, y: mnist.test.labels}))

#关闭sess
sess.close()

#读取模型
gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.95)
with tf.Session(config=tf.ConfigProto(gpu_options=gpu_options)) as sess:
    saver.restore(sess, "./Model/ModelSoftmax.ckpt") # 注意此处路径前添加"./"  
    print('Load Model OK!')
    print('ACC=',sess.run(accuracy, feed_dict={x:mnist.test.images, y: mnist.test.labels}))

最终输出结果：
epoch= 0 ACC= 0.7969 train acc = 0.799182
Save model! Now ACC= 0.7969
epoch= 1 ACC= 0.9566 train acc = 0.962764
Save model! Now ACC= 0.9566
epoch= 2 ACC= 0.9613 train acc = 0.968036
Save model! Now ACC= 0.9613
epoch= 3 ACC= 0.9677 train acc = 0.975109
Save model! Now ACC= 0.9677
epoch= 4 ACC= 0.9698 train acc = 0.977145
Save model! Now ACC= 0.9698
epoch= 5 ACC= 0.9687 train acc = 0.979345
epoch= 6 ACC= 0.9653 train acc = 0.974636
epoch= 7 ACC= 0.9693 train acc = 0.980545
epoch= 8 ACC= 0.9694 train acc = 0.981091
epoch= 9 ACC= 0.9654 train acc = 0.978727
Train OK! epoch= 9 ACC= 0.9654

加入dropout

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
#mnist已经作为官方的例子，做好了数据下载，分割，转浮点等一系列工作，源码在tensorflow源码中都可以找到
mnist = input_data.read_data_sets('MNIST_data', one_hot=True)

# 配置每个 GPU 上占用的内存的比例
# 没有GPU直接sess = tf.Session()
gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.95)
sess = tf.Session(config=tf.ConfigProto(gpu_options=gpu_options))

#每个批次的大小
batch_size = 200
#定义训练轮数据
train_epoch = 10
#定义每n轮输出一次
test_epoch_n = 1

#计算一共有多少批次
n_batch = mnist.train.num_examples // batch_size
print("batch_size="+str(batch_size)+"n_batch="+str(n_batch))

#占位符，定义了输入，输出
x = tf.placeholder(tf.float32,[None, 784]) 
y = tf.placeholder(tf.float32,[None, 10]) 
#定义
keep_prob=tf.placeholder(tf.float32)
#权重和偏置，使用0初始化
W1 = tf.Variable(tf.truncated_normal([784,2000],stddev=0.1))
b1 = tf.Variable(tf.zeros([2000])+0.1)
L1 = tf.nn.sigmoid(tf.matmul(x,W1)+b1)
L1_drop = tf.nn.dropout(L1,keep_prob) 

W2 = tf.Variable(tf.truncated_normal([2000,1000],stddev=0.1))
b2 = tf.Variable(tf.zeros([1000])+0.1)
L2 = tf.nn.sigmoid(tf.matmul(L1_drop,W2)+b2)
L2_drop = tf.nn.dropout(L2,keep_prob) 

W3 = tf.Variable(tf.truncated_normal([1000,100],stddev=0.1))
b3 = tf.Variable(tf.zeros([100])+0.1)
L3 = tf.nn.sigmoid(tf.matmul(L2_drop,W3)+b3)
L3_drop = tf.nn.dropout(L3,keep_prob) 

W4 = tf.Variable(tf.truncated_normal([100,10],stddev=0.1))
b4 = tf.Variable(tf.zeros([10])+0.1)
L4 = tf.nn.sigmoid(tf.matmul(L3,W4)+b4)

#这里定义的网络结构
prediction = tf.nn.softmax(L4)

#损失函数是交叉熵
cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y,logits=prediction))
#训练方法：
#train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)
train_step = tf.train.AdamOptimizer(1e-2).minimize(cross_entropy)
#初始化sess中所有变量
init = tf.global_variables_initializer() 
sess.run(init) 

MaxACC = 0#最好的ACC
saver = tf.train.Saver()  

#训练n个epoch
for epoch in range(train_epoch): 
    for batch in range(n_batch):
        batch_xs, batch_ys = mnist.train.next_batch(batch_size) 
        sess.run(train_step, feed_dict = {x: batch_xs, y: batch_ys,keep_prob:0.7}) 
    if(0==(epoch%test_epoch_n)):#每若干次预测test一次
        #计算test集的准确率
        correct_prediction = tf.equal(tf.argmax(prediction,1), tf.argmax(y,1))
        accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32)) 
        now_acc=sess.run(accuracy, feed_dict={x:mnist.test.images, y: mnist.test.labels,keep_prob:1.0})
        print('epoch=',epoch,'ACC=',now_acc,'train acc =',sess.run(accuracy, feed_dict={x:mnist.train.images, y: mnist.train.labels,keep_prob:1.0}))
        if(now_acc>MaxACC):
            MaxACC = now_acc
            saver.save(sess, "Model/ModelSoftmax.ckpt")  
            print('Save model! Now ACC=',MaxACC)

#计算最终test集的准确率
correct_prediction = tf.equal(tf.argmax(prediction,1), tf.argmax(y,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32)) 
print('Train OK! epoch=',epoch,'ACC=',sess.run(accuracy, feed_dict={x:mnist.test.images, y: mnist.test.labels,keep_prob:1.0}))

#关闭sess
sess.close()

#读取模型
gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.95)
with tf.Session(config=tf.ConfigProto(gpu_options=gpu_options)) as sess:
    saver.restore(sess, "./Model/ModelSoftmax.ckpt") # 注意此处路径前添加"./"  
    print('Load Model OK!')
    print('ACC=',sess.run(accuracy, feed_dict={x:mnist.test.images, y: mnist.test.labels,keep_prob:1.0}))

最终结果：
epoch= 0 ACC= 0.856 train acc = 0.858455
Save model! Now ACC= 0.856
epoch= 1 ACC= 0.8622 train acc = 0.866527
Save model! Now ACC= 0.8622
epoch= 2 ACC= 0.884 train acc = 0.893582
Save model! Now ACC= 0.884
epoch= 3 ACC= 0.9656 train acc = 0.971473
Save model! Now ACC= 0.9656
epoch= 4 ACC= 0.9663 train acc = 0.972618
Save model! Now ACC= 0.9663
epoch= 5 ACC= 0.969 train acc = 0.977655
Save model! Now ACC= 0.969
epoch= 6 ACC= 0.9661 train acc = 0.975982
epoch= 7 ACC= 0.9648 train acc = 0.9736
epoch= 8 ACC= 0.9698 train acc = 0.979345
Save model! Now ACC= 0.9698
epoch= 9 ACC= 0.9699 train acc = 0.978418
Save model! Now ACC= 0.9699
Train OK! epoch= 9 ACC= 0.9699

好像也没有好太多，还是过拟合情况不够严重。

masbbx123
关注
专栏目录
Python深度学习：【tensorflow系列】Tensorflow实现 Dropout
惊鸿若梦一书生
11-29 1204
Dropout是一种在训练神经网络时常用的正则化方法，由Hinton等人于2012年提出。其核心思想是在训练过程中随机“丢弃”（即暂时移除）神经网络中的部分神经元，这样做可以防止模型对训练数据过拟合。具体来说，每个神经元有一定的概率被临时从网络中移除，不参与前向传播和反向传播过程。通过这种方式，Dropout迫使网络的不同部分学习到更加独立的特征表征，增强了模型的泛化能力。这类似于同时训练多个小型网络，并在测试时通过平均多个网络的结果来提高性能。Dropout在实际应用中非常灵活，
政安晨：【深度学习实践】【使用 TensorFlow 和 Keras 为结构化数据构建和训练神经网络】（五）—— Dropout和批归一化
最新发布
政安晨——致力于AI人工智能数字互动领域
03-23 1577
Dropout和批归一化是深度学习领域中常用的正则化技术，旨在提高模型的泛化能力和防止过拟合。 Dropout是由Hinton等人在2012年提出的一种正则化技术。它通过在训练过程中随机地将一部分神经元的输出设置为零，来减少神经网络中神经元之间的依赖关系。 批归一化是由Ioffe和Szegedy在2015年提出的一种归一化技术。它主要解决深度神经网络中的内部协变量转移问题，即前一层的参数更新会影响到后一层的输入分布，使得训练过程变得复杂。
tensorflow用dropout解决over fitting
gmHappy
06-23 2316
在机器学习中可能会存在过拟合的问题，表现为在训练集上表现很好，但在测试集中表现不如训练集中的那么好。图中黑色曲线是正常模型，绿色曲线就是overfitting模型。尽管绿色曲线很精确的区分了所有的训练数据，但是并没有描述数据的整体特征，对新测试数据的适应性较差。一般用于解决过拟合的方法有增加权重的惩罚机制，比如L2正规化，但在本处我们使用tensorflow提供的dropout方法，在训练的时候,...
tensorflow学习笔记（八）：dropout
Keith
10-22 2万+
tensorflow:dropout我们都知道dropout对于防止过拟合效果不错 drop一般用在全连接的部分，卷积部分不会用到dropout,输出曾也不会使用dropout，适用范围[输入，输出) 1.tf.nn.dropout(x, keep_prob, noise_shape=None, seed=None, name=None) 2.tf.nn.rnn_cell.DropoutWra
tensorflow中dropout的用法,防止overfitting
热门推荐
lujiandong1的专栏
11-18 4万+
1、不使用dropout的方案: from __future__ import print_function import tensorflow as tf from sklearn.datasets import load_digits from sklearn.cross_validation import train_test_split from sklearn.preprocessin
Tensorflow框架 -- Dropout的用法
DAOCHI
12-05 3966
1、Dropout的作用 Dropout通过随机失活神经元，缓解网络过拟合，起到正则化作用。 2、相关函数 def tf.nn.dropout(x, keep_prob, noise_shape=None, seed=None, name=None) # x: 该层的输入层; # keep_prob: 保留输入元素的比例，同时将保留的值缩放为1/keep_prob; # noi...
Tensorflow中的dropout的使用方法
09-17
总结来说，Tensorflow提供了多种实现dropout的方法，包括`tf.nn.dropout`、`tf.layers.dropout`以及自定义的稀疏张量dropout，它们都能有效地帮助我们在深度学习模型中防止过拟合，提高模型的泛化性能。在实践中，应...
Tensorflow 实现dropout解决过拟合.zip
01-22
本篇文章将深入探讨如何使用TensorFlow实现Dropout来防止过拟合。 Dropout是由Hinton等人在2012年提出的，它的基本思想是在模型训练过程中随机关闭一部分神经元，以此来减少神经网络中的依赖关系，增加模型的泛化...
TensorFlow官方文档Dropout
macair123的博客
02-28 852
Dropout艾伯特（http://www.aibbt.com/）国内第一家人工智能门户为了减少过拟合，我们在输出层之前加入dropout。我们用一个placeholder来代表一个神经元的输出在dropout中保持不变的概率。这样我们可以在训练过程中启用dropout，在测试过程中关闭dropout。 TensorFlow的tf.nn.dropout操作除了可以屏蔽神经元的输出外，还会自动处理神...
Tensorflow——MNIST数据集/过拟合问题/Dropout算法
鬼刀
01-10 1677
一、过拟合、欠拟合问题 出现过拟合的原因：在机器学习模型中，若果模型的参数太多，但训练样本又少，训练出来的模型容易产生过拟合现象，具体表现为，模型在训练数据上，损失函数较小，预测准确率较高；在测试数据集上，损失函数较大，预测准确率较低。     1、欠拟合  根本原因是特征维度过少，模型过于简单，导致拟合的函数无法满足训练集，误差较大。 2、过拟合 根本原因是特征维度过多，模型假设...
tensorflow实战——dropout防止过拟合验证
m0_37673307的博客
09-04 1159
了解dropout那得先了解什么是overfitting（过拟合），underfitting（欠拟合） overfitting就是指Ein(在训练集上的错误率)变小，Eout(在整个数据集上的错误率)变大的过程 underfitting是指Ein和Eout都变大的过程 使用简单的模型去拟合复杂数据时，会导致模型很难拟合数据的真实分布，这时模型便欠拟合了，或者说有很大的 Bias，Bias...
TensorFlow：利用dropout解决overfitting问题，附程序代码
Yancy的博客
10-10 1804
我们借助sklearn这个module来直观地看一看overfitting（过拟合）问题如何通过dropout来解决。 本文适合刚刚接触TensorFlow的新手们，练习使用，附上源码。 首先我们导入必要文件和数据： #导入必要文件 import tensorflow as tf from sklearn.datasets import load_digits from sklearn.c...
Deep learning：四十一(Dropout简单理解)
weixin_34128411的博客
08-14 483
  　　前言 　　训练神经网络模型时，如果训练样本较少，为了防止模型过拟合，Dropout可以作为一种trikc供选择。Dropout是hintion最近2年提出的，源于其文章Improving neural networks by preventing co-adaptation of feature detectors.中文大意为：通过阻止特征检测器的共同作用来提高神经网络的性能。本篇博文...
TensorFlow打印op名称
masbbx123的博客
04-08 4511
直接打印.op.name就能打印出名称 .get_shape().as_list()就输出shapedef print_activations(t): print(t.op.name, ' ', t.get_shape().as_list())def inference(images): parameters = [] # conv1 with tf.name_sc
tensorflow自己实现SGD功能
masbbx123的博客
06-22 3435
手动实现SGD和调用优化器结果比较 import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data #mnist已经作为官方的例子，做好了数据下载，分割，转浮点等一系列工作，源码在tensorflow源码中都可以找到 mnist = input_data.read_data_sets('MNIS...
tensorflow 训练保存模型4 自由修改模型
masbbx123的博客
12-19 3000
上回已经可以得到一个清晰的模型结构，但是还是不够满意，为什么呢，因为预测的时候不需要dropout层，所以想修改接口，直接去除dropout层。 以下方法自己想的，可能有别的更好的方法： 首先，训练的时候得把每层的参数起好名字，否则名字都自动起的，怎么修改网络，直接就懵逼了。 #定义两个placeholder x = tf.placeholder(tf.float32,[None,784]) y ...
训练cifar10的简单例子
masbbx123的博客
05-03 1958
cifar10的数据最好自己先下载好import cifar10,cifar10_input import tensorflow as tf import numpy as np import time#max_steps = 30000 max_steps = 1000 data_dir = 'cifar-10-batches-bin' batch_size = 128# 配置每个 GPU 上占用
tensorflow2.0 加入dropout层
10-11
在 TensorFlow 2.0 中，可以使用 `tf.keras.layers.Dropout` 层添加 dropout。该层的参数是一个浮点数，表示要将输入单元随机设置为 0 的比率。 示例代码如下： ``` import tensorflow as tf model = tf.keras.Sequential([ tf.keras.layers.Dense(64, activation='relu'), tf.keras.layers.Dropout(0.2), tf.keras.layers.Dense(10, activation='softmax') ]) ``` 上面的代码中，使用了一个 `Dense` 层，一个 `Dropout` 层和一个输出层。`Dropout` 层的参数是 0.2，表示将输入单元的 20% 随机设置为 0。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值