Recent Advances in Convolutional Neural Networks

最新推荐文章于 2021-03-23 05:48:01 发布
最新推荐文章于 2021-03-23 05:48:01 发布
阅读量2.5k 收藏
点赞数
分类专栏： 深度学习 文章标签： 深度学习 卷积 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/thesby/article/details/52655002
版权

这篇博客是对Recent Advances in Convolutional Neural Networks这篇论文的一个解读感悟，不是翻译，只是解读。

简介

CNN从AlexNet，到VGG，GoogleNet，再到ResNet，网络层次不断在加深，而且拓扑结构也越来越复杂，其面临的目标优化、过拟合等问题也越来越难解决。

基本概念

卷积

这里写图片描述
卷积其实就是一个不断滑动的矩阵对应位置的点乘（不考虑旋转180°），然后加上bias，式中 l 表示层，i, j表示位置， k表示神经元序号。

激活层

这里写图片描述
激活层一般是原地操作，不需要与邻域相关，a表示一个非线性函数。（为什么要非线性？呵呵，如果是线性的，那么大家都是线性，叠加起来不还是线性吗？最后网络只学到了一个线性映射，特征表达能力太有限了吧？）

Pooling层

这里写图片描述
Pooling可以下采样，使得特征更稀疏，更显著（这是我的理解，原文没讲）。

未完待续

thesby
关注
专栏目录
文献记录(part96)--Recent advances in convolutional neural networks
小山羊的学习日志
05-24 397
学习笔记，仅供参考，有错必纠 关键词:卷积神经网络;深度学习; 文章历史:2016年8月12日收稿;2017年9月26日修订;2017年10月10日录用;2017年10月11日在线发售 高引用文章 Recent advances in convolutional neural networks 摘要 在过去的几年中，深度学习在视觉识别、语音识别和自然语言处理等各种问题上都取得了很好的效果。在不同类型的深度神经网络中，卷积神经网络的研究最为广泛。利用注释数据量的快速增长和图形处理器单元性能的巨大改进，卷积
【MobileNetsv1】: Efficient Convolutional Neural Networks for Mobile Vision Applications
最新发布
我的博客
06-13 187
我们提供了一种称为MobileNets的高效模型类，用于移动和嵌入式视觉应用。MobileNets基于一种简化的架构，使用深度可分离卷积来构建轻量级深度神经网络。我们引入了两个简单的全局超参数，可以有效地权衡延迟和准确性。这些超参数允许模型构建者根据问题的约束条件选择适合其应用程序的正确大小的模型。我们进行了大量的资源和准确性权衡实验，并在ImageNet分类任务上展现出与其他流行模型相比的较强表现。
（CNN最新进展综述）Recent Advances in Convolutional Neural Networks
11-25
CNN广泛用于图像、语音信号处理。本文是对近年来CNN方法的综合论述，对CNN相关算法进行了深入总结与分析
《Recent Advances in Convolutional Neural Networks》(一)
码农王小呆的博客
12-14 4640
摘要——在过去的一些年里，深度学习在许多类问题上都取得了很好的表现，例如视觉识别，语音识别和自然语言处理。在众多不同类型的深度神经网络中，CNN是被最深入研究的网络。早些年，因为缺少训练数据和电脑计算能力较差，很难在不过拟合的情况下训练一个高性能的CNN。在注释数据大量增长和GPUs快速发展的今天，涌现了许多关于CNN的研究，并在众多任务中取得了state-of-the-art的结果。本文，我们将提
CNN(卷积神经网络)概述
亮亮的博客
11-07 2万+
过去几年，深度学习（Deep learning）在解决诸如视觉识别(visual recognition)、语音识别(speech recognition)和自然语言处理(natural language processing)等很多问题方面都表现出非常好的性能。在不同类型的深度神经网络当中，卷积神经网络是得到最深入研究的。早期由于缺乏训练数据和计算能力，要在不产生过拟合(overfitting)
卷积神经网络车牌字符识别matlab,基于卷积神经网络的车牌字符识别
weixin_32742673的博客
03-23 779
[1] HUBEL D H, WIESEL T N. Receptive fields and functional architecture of monkey striate cortex[J]. Journal of Physiology, 1968, 195(1):215-243.[2] FUKUSHIMA K. Neocognitron:a self-organizing neural ...
imagenet-classification-with-deep-convolutional-neural-networks原版和翻译..rar
06-09
imagenet-classification-with-deep-convolutional-neural-networks的原版和人工翻译word版本
ImageNet Classification with Deep Convolutional Neural Networks论文翻译——中文版
SnailTyan
07-21 5365
文章作者：Tyan 博客：noahsnail.com  |  CSDN  |  简书 翻译论文汇总：https://github.com/SnailTyan/deep-learning-papers-translation ImageNet Classification with Deep Convolutional Neural Networks...
Deep Compression/Acceleration（模型压缩加速总结）
Mars_WH的专栏
12-07 3320
模型压缩论文目录结构`structure`量化`quantization`Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1FINN: A Framework for Fast, Scalable Binarized Neural ...
Deep learning论文笔记一：ImageNet Classification with Deep Convolutional Neural Networks
ms的专栏
11-24 1868
1.简介        ImageNet Classification with Deep Convolutional Neural Networks 发表在NIPS2012上面，在当时引起了不小的轰动，因为这篇文章的方法在ImageNet LSVRC-2010数据集上的分类效果比其他分类效果好很多，Top 5的错误率由25%降到17%。
模型压缩论文
weixin_42071277的博客
03-29 937
一、Learning structured sparsity in deep neural network Abstract： 本文提出了Structured Sparsity Learning（ssl）方法来正则化DNN的网络结构。ssl技术可以做到1）从一个复杂的DNN网络学习到一个紧凑的结构，从而减少计算消耗；2）在保证精度不损失的情况下，获得一个对硬件友好的DNN稀疏结构。实验表明...
《ImageNet Classification with Deep Convolutional Neural Network》
Silence的博客
03-06 3402
  本篇论文是在ImageNet上大放异彩，将CNN应用于cv大舞台，论文的作者是Alex Krizhevsky，来自加拿大多伦多大学Hinton组，所以论文中的模型又叫AlexNet。 概述   ImageNet数据集共有150万张图片，分为22000个类别。Image Large-Scale Visual Recognition Competition(ILSVRC-2010)和ILSVR...
深度学习入门学习:Multi-view Face Detection Using Deep Convolutional Neural Networks
HAHA的专栏
03-05 7556
Multi-view Face Detection Using Deep Convolutional Neural Networks        这篇paper主要就是探讨了在多视角下的人脸检测，简称为DDFD，Deep Dense Face Dector。deep应该是说网络架构比较深，Dense应该是表达把fc层改称为fc-conv层。作者把fc层改称为fc-conv层的主要原因是
AlexNet论文(ImageNet Classification with Deep Convolutional Neural Networks)(译)
热门推荐
hongbin_xu的博客
05-10 9万+
前言 最近一直比较忙，总算才有时间看点深度学习的论文。这篇论文是大神Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton三人提出的AlexNet深度卷积神经网络，摘得了2010年ILSVRC比赛的桂冠。AlexNet在现在也经常会用到，可以说是很经典的一个CNN框架了。出于学习的目的，一方面可以做笔记，一方面也可以督促自己的学习，我才打算翻译下这...
TRAINING AND INFERENCE WITH INTEGERS IN DEEP NEURAL NETWORKS
田震宇
06-22 1099
本篇文章主要创新点在于不仅仅提供了对activation 和weights的量化，还通过同样的方式，对gradient和error进行了量化。将模型的量化做的更加深入。 这篇文章主要分为两块，第一块是知识铺垫，第二块是四个量化 知识铺垫 MACs（矩阵乘法）会导致量化bit增加 K指量化的bit数。这个图比较难理解的地方在于右边。[kE+kA−1][k_{E}+k_{A}-1][kE​+kA​−...
ImageNet Classification with Deep Convolutional Neural Networks
zhufenghao
09-13 1329
1. 数据集ImageNet 数据特征：15 million张，22000类，分辨率高且多样 预处理：降采样到256×\times256固定分辨率，对矩形边框的图像，先让短边缩小到256，然后剪裁出中心的256×\times256的部分。使用中心化的原始RGB像素，即每张图片剪掉训练集中所有像素点的均值。 2. 结构1. ReLU 非线性tanh和logistic函数都是饱和非线性激活函数，梯度下降
引用ImageNet classification with deep convolutional neural networks的格式
05-19
[1] Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). ImageNet classification with deep convolutional neural networks. Advances in neural information processing systems, 25, 1097-1105.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值