排序:
默认
按更新时间
按访问量

深度学习入门基础讲义

工作确定以后,闲暇时间做了如下一个PPT讲义,用于向实验室新生学弟学妹介绍深度学习。他们大部分在本科期间学习通信相关专业课程,基本没有接触过图像处理和机器学习。对于一个研究生而言,自学应当是一个最基本也是最重要的能力。自学不仅是独立学习,更是主动学习。因此,该讲义的目的主要是为新生打开一个大门,使...

2017-11-20 20:32:04

阅读数:3570

评论数:2

COCO Loss

2017NIPS: 《Rethinking Feature Discrimination and Polymerization for Large-scale Recognition》Github项目主页: https://github.com/sciencefans/coco_loss文章方法...

2017-10-22 15:56:01

阅读数:2248

评论数:1

Dual Path Networks

《Dual Path Networks》一篇讲如何设计网络结构的文章,大体上整合了ResNet和 DenseNet的优点: - ResNet: 侧重于特征的再利用(因为整合特征采用的是加和操作) - DenseNet: 侧重于新特征的发掘(因为整合特征采用的是拼接操作)我认为文章最大的贡献...

2017-10-18 16:31:59

阅读数:1378

评论数:0

DenseNet

2017CVPR Best Paper: 《Densely Connected Convolutional Networks》Github项目主页: https://github.com/liuzhuang13/DenseNet知乎上的一些讨论: 如何评价Densely Connected Con...

2017-09-22 19:44:22

阅读数:2510

评论数:1

不规则卷积神经网络

来自中科院自动化所的“不规则卷积神经网络”。文章链接: 《Irregular Convolutional Neural Networks》从直观上来看,一个不规则的卷积核(其shape可以自动学习)似乎更适应输入的pattern。 但考虑更多方面,比如学习效率、操作复杂度这些因素。个人认为,不规则...

2017-09-13 12:44:40

阅读数:1011

评论数:1

CReLU激活函数

一种改进ReLU激活函数的文章,来自ICML2016.文章链接: 《Understanding and Improving Convolutional Neural Networks via Concatenated Rectified Linear Units》caffe实现: https://...

2017-09-03 00:04:56

阅读数:5586

评论数:2

梯度下降优化算法总结

本次介绍梯度下降优化算法。主要参考资料为一篇综述《An overview of gradient descent optimization algorithms》

2017-07-21 22:44:54

阅读数:4558

评论数:0

CNN不能识别Negative图像

一篇挺有意思的短文 《Deep Neural Networks Do Not Recognize Negative Images》。CNN可能还无法像人类一样理解到语义层面,而语义理解很可能是以后人工智能的一个重要层面。

2017-04-10 16:40:51

阅读数:2345

评论数:0

Dilated Convolution

本次介绍一篇有关语义分割的文章,其核心思想是如何不失分辨率的扩大感受野,该方法已被caffe默认支持。 该思想也可以应用到目标检测上来。文章《MULTI-SCALE CONTEXT AGGREGATION BY DILATED CONVOLUTIONS》github项目链接: https://g...

2017-04-10 15:16:16

阅读数:14991

评论数:1

思考深度学习的泛化能力

神经网络通过记忆学习 传统观点 论文观点 论文实验 神经网络 不 通过记忆学习 参考资料深度神经网络往往带有大量的参数,但依然表现出很强的泛化能力(指训练好的模型在未见过的数据上的表现)。深度神经网络为何会拥有如此强的泛化能力?最近,两篇论文引起了广泛思考。神经网络通过记忆学习《Understan...

2017-02-20 17:12:52

阅读数:8979

评论数:0

深度学习——MSRA初始化

本次简单介绍一下MSRA初始化方法,方法同样来自于何凯明paper 《Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification》.Motivation MSRA初始化 推导证...

2016-05-08 20:43:47

阅读数:14790

评论数:2

深度学习——PReLU激活

本次介绍PReLU激活函数以及MSRA初始化方法,方法来自于何凯明paper 《Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification》.PReLU激活PReLU(Para...

2016-05-08 15:22:46

阅读数:19887

评论数:0

深度学习——Xavier初始化方法

“Xavier”初始化方法是一种很有效的神经网络初始化方法,方法来源于2010年的一篇论文《Understanding the difficulty of training deep feedforward neural networks》,可惜直到近两年,这个方法才逐渐得到更多人的应用和认可。为...

2016-05-07 18:39:44

阅读数:46924

评论数:13

GoogLeNet系列解读

本文介绍的是著名的网络结构GoogLeNet及其延伸版本,目的是试图领会其中的思想而不是单纯关注结构。GoogLeNet Incepetion V1 Motivation Architectural Details GoogLeNet Conclusion GoogLeNet Inception...

2016-02-25 15:56:29

阅读数:67688

评论数:59

解读Batch Normalization

目录 目录 1-Motivation 2-Normalization via Mini-Batch Statistics 测试 BN before or after Activation 3-Experiments本次所讲的内容为Batch Normalization,简称BN,来源于《Batch...

2016-02-23 16:03:23

阅读数:17120

评论数:1

系列解读Dropout

本文主要介绍Dropout及延伸下来的一些方法,以便更深入的理解。想要提高CNN的表达或分类能力,最直接的方法就是采用更深的网络和更多的神经元,即deeper and wider。但是,复杂的网络也意味着更加容易过拟合。于是就有了Dropout,大部分实验表明其具有一定的防止过拟合的能力。

2016-01-25 16:04:10

阅读数:4979

评论数:1

多尺度竞争卷积

此次所讲内容来自《Competitive Multi-scale Convolution》, 时间节点2015.121-模型先来看看作者最开始设计的模型:这里着重说明一下Maxout:从r1、r2、r3、r4中选择最大的响应作为输出。由于K*K大小的卷积操作中都采取了pad=K/2、stride=...

2016-01-12 15:40:46

阅读数:3124

评论数:0

mxnet学习记录【1】

由于caffe依赖性太多,配置极其复杂,所以将接下来的学习转向mxnet.因此本文主要记录我的学习历程,如果描述有什么问题,欢迎大家的指正。mxnet的优点很明显,简洁灵活效率高 ,多机多卡支持好。mxnet的github下载链接:https://github.com/dmlc/mxnet/mxn...

2015-12-01 18:42:18

阅读数:25314

评论数:16

提示
确定要删除当前文章?
取消 删除
关闭
关闭