机器学习-学习笔记 tensorflow上实现bp网络分别在MNIST数据集和机器学习课后习题5.5

最新推荐文章于 2022-04-24 23:35:04 发布

Avlon

最新推荐文章于 2022-04-24 23:35:04 发布

阅读量763

点赞数

分类专栏：机器学习

本文链接：https://blog.csdn.net/Avlon/article/details/81346991

版权

本文介绍了在TensorFlow中实现反向传播（BP）神经网络的过程，针对MNIST数据集和机器学习课程中的5.5号习题进行实践。作者发现使用方差作为代价函数在MNIST上效果不佳，而采用交叉熵作为优化函数后，训练准确率显著提高。在初始化、激活函数和学习率选择等方面分享了经验和注意事项。同时，文章还展示了如何处理离散特征并手动转换数据。经过调整，模型在训练集上达到100%准确率，作者计划进一步研究手动梯度下降的问题。

摘要由CSDN通过智能技术生成

本来想根据机器学习书上的推导的梯度下降公式手写一个梯度下降，但是效果不好，后面用了tf自带的梯度下降后成功。

发现方差作为代价函数不能在MNIST数据集上取得良好效果，训练正确率始终在0.1上下徘徊。

MNIST上的优化函数得使用交叉熵，隐含节点个数有几个经验公式，大概取了一个附近的值，下面先给出MNIST上的代码。

import numpy
import input_data
import tensorflow as tf

mnist = input_data.read_data_sets("MNIST_data/",one_hot=True)
input_size = 784
out_size = 10
hide_note = 60

x = tf.placeholder("float", [None, input_size])
y = tf.placeholder("float", [None, out_size])

v = tf.Variable(tf.random_normal([input_size, hide_note], stddev=0.1))
b = tf.Variable(tf.zeros([hide_note])+0.1)
w = tf.Variable(tf.random_normal([hide_note, out_size], stddev=0.1))
sita = tf.Variable(tf.zeros([out_size])+0.1)

a = tf.matmul(x,v)+b
a = tf.nn.relu(a)
y_ = tf.matmul(a, w)+sita
y_ = tf.nn.relu(y_)

loss = tf.reduce_mean (tf.nn.softmax_cros