tensorflow基础知识6，防止过拟合，dropout

防止过拟合，用dropout（）函数，取值0-1.0，表示多少比例的神经元在工作。

1、以下是100%的神经元在工作，出现过拟合现象。

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

#载入数据
mnist=input_data.read_data_sets('mnist_data',one_hot=True)#noe_hot把像素点都转变成0或1的形式

#每个批次的大小，训练模型时，一次放入一批次
batch_size=100 #一批次100张图
#计算一共有多少个批次
n_batch=mnist.train.num_examples//batch_size# //是整除,得到批次数

#定义两个placeholder,添加一个placeholder
x=tf.placeholder(tf.float32,[None,784])#建立一个占位符，None是图片数，784是每幅图的像素个数
y=tf.placeholder(tf.float32,[None,10])# 标签，建立一个占位符，10是指0-9十个数
keep_prob=tf.placeholder(tf.float32)

'''
#创建一个简单的神经网络，输入层784个神经元，输出层10个神经元，不设隐藏层
#这种初始化为0的方法不是很好，可以改进一下
W=tf.Variable(tf.zeros([784,10]))#权值，设一个变量，置0
b=tf.Variable(tf.zeros([10]))#偏置值
prediction=tf.nn.softmax(tf.matmul(x,W)+b)#信号总和，经过softmax函数（激活函数）转化成概率值
'''

W1=tf.Variable(tf.truncated_normal([784,2000],stddev=0.1))#truncate_normal截断的正态分布初始化，标准差是0.1
b1=tf.Variable(tf.zeros([2000])+0.1)
L1=tf.nn.tanh(tf.matmul(x,W1)+b1)#激活函数采用双曲正切函数,中间层神经元的输出
L1_drop=tf.nn.dropout(L1,keep_prob)#keep_prob代表多少比例的神经元在工作,比如1.0代表所有神经元都在工作

W2=tf.Variable(tf.truncated_normal([2000,2000],stddev=0.1))
b2=tf.Variable(tf.zeros([2000])+0.1)
L2=tf.nn.tanh(tf.matmul(L1_drop,W2)+b2)
L2_drop=tf.nn.dropout(L2,keep_prob)

W3=tf.Variable(tf.truncated_normal([2000,1000],stddev=0.1))
b3=tf.Variable(tf.zeros([1000])+0.1)
L3=tf.nn.tanh(tf.matmul(L2_drop,W3)+b3)
L3_drop=tf.nn.dropout(L3,keep_prob)

W4=tf.Variable(tf.truncated_normal([1000,10],stddev=0.1))
b4=tf.Variable(tf.zeros([10])+0.1)
prediction=tf.nn.softmax(tf.matmul(L3_drop,W4)+b4)

#二次代价函数
#loss =tf.reduce_mean(tf.square(y-prediction))

#使用交叉熵代价函数
loss=tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y,logits=prediction))