tensorflow学习笔记——卷积神经网络的简单应用

数据集下载

本文用卷积神经网络实现MNIST数据集分类。可在这个网站下载MNIST数据集。下载后的数据如下图所示:

本文使用的网络包括2个卷积层和两个全连接层。卷积核大小为5×5,第一个卷积层有32个卷积核,第二个卷积层有64个卷积核。第一个全连接层有1024个节点,第二个全连接层有10个节点。

使用的激活函数为ReLU激活函数,优化器为Adam,ReLU+Adam也是我在论文里见的最多的搭配,最后一层我们还使用了softmax激活函数,这是多分类问题中最常用到的,最后使用交叉熵损失函数,softmax+交叉熵损失函数也是多分类问题最常用的搭配。

ReLU激活函数

公式:

f(x)=max(0,x)

图像:

ReLU函数在x<0时,输出始终为0。由于x>0时,ReLU函数的导数为1,所以ReLU函数能够在x>0时保持梯度不断衰减,从而缓解梯度消失的问题,还能加快收敛速度,还能是神经网络具有稀疏性表达能力,因此它应该是目前使用最广泛的激活函数。

softmax激活函数

公式:

  • 9
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 3
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值