tensorflow基础知识6,防止过拟合,dropout

防止过拟合,用dropout()函数,取值0-1.0,表示多少比例的神经元在工作。

1、以下是100%的神经元在工作,出现过拟合现象。

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

#载入数据
mnist=input_data.read_data_sets('mnist_data',one_hot=True)#noe_hot把像素点都转变成0或1的形式

#每个批次的大小,训练模型时,一次放入一批次
batch_size=100 #一批次100张图
#计算一共有多少个批次
n_batch=mnist.train.num_examples//batch_size# //是整除,得到批次数

#定义两个placeholder,添加一个placeholder
x=tf.placeholder(tf.float32,[None,784])#建立一个占位符,None是图片数,784是每幅图的像素个数
y=tf.placeholder(tf.float32,[None,10])# 标签,建立一个占位符,10是指0-9十个数
keep_prob=tf.placeholder(tf.float32)

'''
#创建一个简单的神经网络,输入层784个神经元,输出层10个神经元,不设隐藏层
#这种初始化为0的方法不是很好,可以改进一下
W=tf.Variable(tf.zeros([784,10]))#权值,设一个变量,置0
b=tf.Variable(tf.zeros([10]))#偏置值
prediction=tf.nn.softmax(tf.matmul(x,W)+b)#信号总和,经过softmax函数(激活函数)转化成概率值
'''

W1=tf.Variable(tf.truncated_normal([784,2000],stddev=0.1))#truncate_normal截断的正态分布初始化,标准差是0.1
b1=tf.Variable(tf.zeros([2000])+0.1)
L1=tf.nn.tanh(tf.matmul(x,W1)+b1)#激活函数采用双曲正切函数,中间层神经元的输出
L1_drop=tf.nn.dropout(L1,keep_prob)#keep_prob代表多少比例的神经元在工作,比如1.0代表所有神经元都在工作

W2=tf.Variable(tf.truncated_normal([2000,2000],stddev=0.1))
b2=tf.Variable(tf.zeros([2000])+0.1)
L2=tf.nn.tanh(tf.matmul(L1_drop,W2)+b2)
L2_drop=tf.nn.dropout(L2,keep_prob)

W3=tf.Variable(tf.truncated_normal([2000,1000],stddev=0.1))
b3=tf.Variable(tf.zeros([1000])+0.1)
L3=tf.nn.tanh(tf.matmul(L2_drop,W3)+b3)
L3_drop=tf.nn.dropout(L3,keep_prob)

W4=tf.Variable(tf.truncated_normal([1000,10],stddev=0.1))
b4=tf.Variable(tf.zeros([10])+0.1)
prediction=tf.nn.softmax(tf.matmul(L3_drop,W4)+b4)

#二次代价函数
#loss =tf.reduce_mean(tf.square(y-prediction))

#使用交叉熵代价函数
loss=tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y,logits=prediction))
  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值