DenseNet

2017CVPR Best Paper: 《Densely Connected Convolutional Networks》Github项目主页: https://github.com/liuzhuang13/DenseNet知乎上的一些讨论: 如何评价Densely Connected Convolutional Networks?DenseNet属于对ResNet扩展的一系列工作中比较有代表性...
阅读(290) 评论(1)

不规则卷积神经网络

来自中科院自动化所的“不规则卷积神经网络”。文章链接: 《Irregular Convolutional Neural Networks》从直观上来看,一个不规则的卷积核(其shape可以自动学习)似乎更适应输入的pattern。 但考虑更多方面,比如学习效率、操作复杂度这些因素。个人认为,不规则卷积目前不是一个很值得称赞的工作。1. 方法介绍上图中,图(a)表示一个不规则卷积; 图(b)表示,尽...
阅读(266) 评论(1)

CReLU激活函数

一种改进ReLU激活函数的文章,来自ICML2016.文章链接: 《Understanding and Improving Convolutional Neural Networks via Concatenated Rectified Linear Units》caffe实现: https://github.com/farmingyard/ShuffleNet1. 背景介绍整个文章的出发点来自于下...
阅读(593) 评论(0)

梯度下降优化算法总结

本次介绍梯度下降优化算法。主要参考资料为一篇综述《An overview of gradient descent optimization algorithms》...
阅读(553) 评论(0)

CNN不能识别Negative图像

一篇挺有意思的短文 《Deep Neural Networks Do Not Recognize Negative Images》。CNN可能还无法像人类一样理解到语义层面,而语义理解很可能是以后人工智能的一个重要层面。...
阅读(1733) 评论(0)

思考深度学习的泛化能力

神经网络通过记忆学习 传统观点 论文观点 论文实验 神经网络 不 通过记忆学习 参考资料深度神经网络往往带有大量的参数,但依然表现出很强的泛化能力(指训练好的模型在未见过的数据上的表现)。深度神经网络为何会拥有如此强的泛化能力?最近,两篇论文引起了广泛思考。神经网络通过记忆学习《Understanding deep learning requires rethinking generalizatio...
阅读(3557) 评论(0)

深度模型一些新的运行框架或者辅助库工具等

主要记录一些新的深度学习有关的框架工具等,以作个人备份:(1) Android手机上的GPU加速DCNN(运行)库CNNdroid文章《CNNdroid: GPU-Accelerated Execution of Trained Deep Convolutional Neural Networks on Android》github链接: https://github.com/ENCP/CNNdr...
阅读(2847) 评论(0)

深度学习——MSRA初始化

本次简单介绍一下MSRA初始化方法,方法同样来自于何凯明paper 《Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification》.Motivation MSRA初始化 推导证明 补充说明 Motivation网络初始化是一件很重要的事情。但是,传统的固定方差的高斯分布初始化,在...
阅读(6989) 评论(1)

深度学习——PReLU激活

本次介绍PReLU激活函数以及MSRA初始化方法,方法来自于何凯明paper 《Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification》.PReLU激活PReLU(Parametric Rectified Linear Unit), 顾名思义:带参数的ReLU。二者的定义和区...
阅读(9368) 评论(0)

深度学习——Xavier初始化方法

“Xavier”初始化方法是一种很有效的神经网络初始化方法,方法来源于2010年的一篇论文《Understanding the difficulty of training deep feedforward neural networks》,可惜直到近两年,这个方法才逐渐得到更多人的应用和认可。为了使得网络中信息更好的流动,每一层输出的方差应该尽量相等。基于这个目标,现在我们就去推导一下:每一层的权...
阅读(21593) 评论(9)

GoogLeNet系列解读

本文介绍的是著名的网络结构GoogLeNet及其延伸版本,目的是试图领会其中的思想而不是单纯关注结构。GoogLeNet Incepetion V1 Motivation Architectural Details GoogLeNet Conclusion GoogLeNet Inception V2 Introduction General Design Principles Factorizi...
阅读(30013) 评论(54)

解读Batch Normalization

目录 目录 1-Motivation 2-Normalization via Mini-Batch Statistics 测试 BN before or after Activation 3-Experiments本次所讲的内容为Batch Normalization,简称BN,来源于《Batch Normalization: Accelerating Deep Network Training b...
阅读(9654) 评论(1)

系列解读Dropout

本文主要介绍Dropout及延伸下来的一些方法,以便更深入的理解。想要提高CNN的表达或分类能力,最直接的方法就是采用更深的网络和更多的神经元,即deeper and wider。但是,复杂的网络也意味着更加容易过拟合。于是就有了Dropout,大部分实验表明其具有一定的防止过拟合的能力。...
阅读(2874) 评论(0)

多尺度竞争卷积

此次所讲内容来自《Competitive Multi-scale Convolution》, 时间节点2015.121-模型先来看看作者最开始设计的模型:这里着重说明一下Maxout:从r1、r2、r3、r4中选择最大的响应作为输出。由于K*K大小的卷积操作中都采取了pad=K/2、stride=1的操作,因此r1、r2、r3、r4的大小是一致的。增加了Max pooling,最终得到了下图的网络基...
阅读(2022) 评论(0)

mxnet学习记录【1】

由于caffe依赖性太多,配置极其复杂,所以将接下来的学习转向mxnet.因此本文主要记录我的学习历程,如果描述有什么问题,欢迎大家的指正。mxnet的优点很明显,简洁灵活效率高 ,多机多卡支持好。mxnet的github下载链接:https://github.com/dmlc/mxnet/mxnet的开发文档链接:http://mxnet.readthedocs.org/en/latest/bui...
阅读(16789) 评论(15)
    个人资料
    • 访问:406575次
    • 积分:4991
    • 等级:
    • 排名:第5972名
    • 原创:114篇
    • 转载:10篇
    • 译文:1篇
    • 评论:444条
    最新评论