Tensorflow学习笔记

注意

1：输出层不需要使用激活函数

2：tf.nn.softmax用于输出层，用于将结果概率化

代价函数：

1：二次代价函数

loss = tf.reduce_mean(tf.square(prediction-y))

2：对数释然函数，该函数于softmax搭配使用

tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y_data,logits=prediction))

3：交叉熵代价函数，该函数于softmax搭配使用

 tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(labels=y_data,logits=prediction))

过拟合

过拟合的原因：神经网络复杂，训练的数据太少。

防止过拟合的措施：

1：增加数据集。

2：正则化方法：

3：Dropout。（使用dropout会使得训练变慢）

tf.nn.dropout(输出,keep_prob=训练部分小数占比)，在每一层激活函数后使用，输出层不需要使用。

优化器（插一个书签）