tensorflow入门之训练简单的神经网络

这几天开始学tensorflow，先来做一下学习记录
一.神经网络解决问题步骤：
1.提取问题中实体的特征向量作为神经网络的输入。也就是说要对数据集进行特征工程，然后知道每个样本的特征维度，以此来定义输入神经元的个数。
2.定义神经网络的结构，并定义如何从神经网络的输入得到输出。也就是说定义输入层，隐藏层以及输出层。
3.通过训练数据来调整神经网络中的参数取值，这是训练神经网络的过程。一般来说要定义模型的损失函数，以及参数优化的方法，如交叉熵损失函数和梯度下降法调优等。
4.利用训练好的模型预测未知的数据。也就是评估模型的好坏。

二.训练简单的向前传播神经网络
一下训练的神经模型是最简单的一类，而且是线性的（也就是说没有用激活函数去线性话），没有反向传播的过程，只是简单的说明神经网络工作的流程。

import tensorflow as tf

#定义隐藏层参数，每个w变量是一个tensor(可以当成是n*m的数组，n表示上一层结点个数，m表示本层结点个数)表示上一层与本层的连接权重,这里先随机定义权重
w1=tf.Variable(tf.random_normal([2,3]，stddev=1))
w2=tf.Variable(tf.random_normal([3,1]，stddev=1))

#定义存放输入数据的地方，也就是x向量,这里shape为前一个传入训练的样本个数，后面出入每个样本的维度大小
x=tf.placeholder(tf.float32,shape=(None,2),name="input")
#矩阵乘法
a=tf.matmul(x,w1)
y=tf.matmul(a,w2)

with tf.Session() as sess:
    #新版本好像不能用这个函数初始化所有变量了
    init_op=tf.initialize_all_variables()
    sess.run(init_op)
    #feed_dict用于向y中的x传入参数，这里传入3个，则y输出为一个3*1的tensor
    print（sess.run(y,feed_dict={x:[[0.7,0.9],[1.0,1.5],[2.1,2.3]]}))

至此，一个用x的每个维度乘以两层权重之后输出单个值得线性神经网络就定义好了。

三.定义损失函数以及反向传播算法
有了上面的基础，我们可以定义损失函数以及反向传播算法去拟合数据了，非线性数据我们可以定义激活函数去线性化。还有一些细节就是学习率的问题，这次使用的是动态学习率，首先把学习率设定为比较大的值，加速收敛，然后随着迭代次数的增加，学习率不断下降，防止错过局部最小值。还有一个问题，就是防止过拟合。一般神经网络防止过拟合的策略有两种，一种是正则化，一种是dropout，我们暂且不作讨论后者

损失函数：交叉熵
反