深度学习框架TensorFlow学习与应用（四）——拟合问题、优化器

一、拟合

1）回归问题：

过拟合尽量去通过每一个样本点，误差为零。假如有一个新的样本点：

会发现过拟合的偏差会很大。

2）分类问题：

同样的当得到新的样本点后，过拟合的错误率可能会提高。

3）防止过拟合：

1.增加数据集

2.正则化方法，在代价函数后面加一个正则项

3.Dropout：训练时，在每一次迭代时使得一些神经元工作，一些神经元不工作。测试时再使用所有的神经元。

4）使用Dropout避免过拟合：

例如：创建一个神经网络，2000个神经元的隐藏层，后面又是2000个神经元的隐藏层，之后是1000个神经元的隐藏层，最后是10个输出层。用来进行前部分的MINST数据集分类训练。

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
#载入数据集
mnist=input_data.read_data_sets("D:\BaiDu\MNIST_data",one_hot=True)

#每个批次的大小
batch_size=100
#计算一共有多少个批次
n_batch=mnist.train.num_examples//batch_size

#定义placeholder
x=tf.placeholder(tf.float32,[None,784])
y=tf.placeholder(tf.float32,[None,10])#标签
keep_prob=tf.placeholder(tf.float32)

#创建一个的神经网络，2000个神经元的隐藏层，后面又是2000个神经元的隐藏层，只有是1000个神经元的隐藏层，最后是10个输出层
W1=tf.Variable(tf.truncated_normal([784,2000],stddev=0.1))
b1=tf.Variable(tf.zeros([2000])+0.1)
L1=tf.nn.tanh(tf.matmul(x,W1)+b1)
L1_drop=tf.nn.dropout(L1,keep_prob)

W2=tf.Variable(tf.truncated_normal([2000,2000],stddev=0.1))
b2=tf.Variable(tf.zeros([2000])+0.1)
L2=tf.nn.tanh(tf.matmul(L1_drop,W2)+b2)
L2_drop=tf.nn.dropout(L2,keep_prob)

W3=tf.Variable(tf.truncated_normal([2000,