深度学习CNN-基本概念

背景


深度学习可谓是如火如荼,风头正盛。读研期间身边就有很多人在进行相关工作,工作之后发现在工业界也是相当受追捧。因此,自己也下定决心开始窥探一下深度学习的奥秘。


总体结构


从一个例子中先大体把握一下CNN的结构,有一个基本的认识。ImageNet LSVRC是一个图片分类的比赛,其训练集包括127W+张图片,验证集有5W张图片,测试集有15W张图片。本文截取2010年Alex Krizhevsky的CNN结构进行说明,该结构在2010年取得冠军,top-5错误率为15.3%。

卷积神经网络

上图模型的基本参数为:

输入:224×224大小的图片,3通道
第一层卷积:5×5大小的卷积核96个,每个GPU上48个。
第一层max-pooling:2×2的核。
第二层卷积:3×3卷积核256个,每个GPU上128个。
第二层max-pooling:2×2的核。
第三层卷积:与上一层是全连接,3*3的卷积核384个。分到两个GPU上个192个。
第四层卷积:3×3的卷积核384个,两个GPU各192个。该层与上一层连接没有经过pooling层。
第五层卷积:3×3的卷积核256个,两个GPU上个128个。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
深度学习是一种机器学***神经网络的结构和功能,通过多层次的神经网络进行学习和推理。深度学习的核心思想是通过大量的数据和强大的计算能力,自动地从数据中学习特征表示,并利用这些特征进行模式识别和决策。 深度学习的发展历程可以追溯到上世纪80年代,但直到近年来才取得了显著的突破。以下是深度学习的发展历程的主要里程碑: 1. 多层感知机(MLP):上世纪80年代,多层感知机被提出作为一种基本的神经网络结构,但由于计算资源和数据量的限制,其应用受到了限制。 2. 反向传播算法:上世纪80年代末,反向传播算法被提出,它解决了训练多层神经网络的难题,为深度学习的发展奠定了基础。 3. 深度信念网络(DBN):2006年,Hinton等人提出了深度信念网络,通过逐层贪婪地训练网络,解决了深度神经网络训练的问题。 4. 卷积神经网络(CNN):2012年,Krizhevsky等人在ImageNet图像识别竞赛中使用卷积神经网络取得了突破性的成果,引起了广泛的关注和应用。 5. 递归神经网络(RNN):RNN是一种具有循环连接的神经网络,能够处理序列数据,如语音和自然语言。它在机器翻译、语音识别等领域取得了重要的进展。 6. 深度强化学习:深度强化学习结合了深度学习和强化学习的思想,通过智能体与环境的交互来学习最优策略,在游戏、机器人控制等领域取得了显著的成果。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值