tensorflow学习笔记——卷积神经网络的简单应用

数据集下载

本文用卷积神经网络实现MNIST数据集分类。可在这个网站下载MNIST数据集。下载后的数据如下图所示：

本文使用的网络包括2个卷积层和两个全连接层。卷积核大小为5×5，第一个卷积层有32个卷积核，第二个卷积层有64个卷积核。第一个全连接层有1024个节点，第二个全连接层有10个节点。

使用的激活函数为ReLU激活函数，优化器为Adam，ReLU+Adam也是我在论文里见的最多的搭配，最后一层我们还使用了softmax激活函数，这是多分类问题中最常用到的，最后使用交叉熵损失函数，softmax+交叉熵损失函数也是多分类问题最常用的搭配。

ReLU激活函数

公式：

图像：

ReLU函数在x<0时，输出始终为0。由于x>0时，ReLU函数的导数为1，所以ReLU函数能够在x>0时保持梯度不断衰减，从而缓解梯度消失的问题，还能加快收敛速度，还能是神经网络具有稀疏性表达能力，因此它应该是目前使用最广泛的激活函数。

softmax激活函数

公式：

n为输出层参数总数。