常见的神经网络的优化方法

    上一篇博客使用了TF建立了一个基本的拥有一层隐含层的神经网络。我们感到激动不已！（- -!）不过(根据前人不断地试验和总结)神经网络有那么几个明显的缺点。我们接下来将对上一篇的代码进行适当修改，再进一步提高准确率。前面的定义是一样的，这里不再赘述。

from tensorflow.examples.tutorials.mnist import input_data
import tensorflow as tf
mnist=input_data.read_data_sets('MNIST_data/',one_hot=True)
sess=tf.InteractiveSession()

in_units=784 
h1_units=300
w1=tf.Variable(tf.truncated_normal([in_units,h1_units],stddev=0.1))
b1=tf.Variable(tf.zeros([h1_units]))
w2=tf.Variable(tf.zeros([h1_units,10]))
b2=tf.Variable(tf.zeros([10]))