深度学习
xf__mao
关注机器学习和计算机视觉,欢迎交流!
展开
-
【深度学习】论文导读:ELU激活函数的提出(FAST AND ACCURATE DEEP NETWORK LEARNING BY EXPONENTIAL LINEAR UNITS (ELUS))
FAST AND ACCURATE DEEP NETWORK LEARNING BY EXPONENTIAL LINEAR UNITS (ELUS)(2016,Djork-Arn´e Clevert, Thomas Unterthiner & Sepp Hochreiter)论文下载一、简介 ELU的表达式:四种激活函数(ELU,LReLU,ReLU,SReLU)比较图:原创 2016-11-20 17:19:53 · 38956 阅读 · 1 评论 -
【深度学习】论文导读:google的批正则方法(Batch Normalization: Accelerating Deep Network Training by Reducing...)
google2015年的论文,首次提出批正则方法,优化深度神经元网络的学习摘要在深度网络的训练中,每一层网络的输入都会因为前一层网络参数的变化导致其分布发生改变,这就要求我们必须使用一个很小的学习率和对参数很好的初始化,但是这么做会让训练过程变得慢而且复杂。作者把这种现象称作Internal Covariate Shift。通过Batch Normalization可以很好的解决这个问原创 2016-11-13 17:07:00 · 1934 阅读 · 0 评论 -
【深度学习】论文导读:图像识别中的深度残差网络(Deep Residual Learning for Image Recognition)
CVPR2016最佳论文原创 2016-11-10 22:24:54 · 4124 阅读 · 6 评论 -
【深度学习】论文导读:GoogLeNet模型,Inception结构网络简化(Going deeper with convolutions)
论文下载Going deeper with convolutionsgoogle在ILSVRC14比赛中获得冠军的一个模型。GoogLeNet, 一个22层的深度网络。GoogLeNet模型的参数量只是两年前该项赛事的冠军Krizhevsky参数量的1/12,大大降低了网络的复杂度,甚至还达到了比Krizhevsky更高的精度。此篇论文讨论的就是如何有效的控制computa原创 2016-11-26 14:23:16 · 15834 阅读 · 2 评论 -
【深度学习】论文导读:无监督域适应(Deep Transfer Network: Unsupervised Domain Adaptation)
一、Domain adaptation在开始介绍之前,首先我们需要知道Domain adaptation的概念。Domain adaptation,我在标题上把它称之为域适应,但是在文中我没有再翻译它,而是保持它的英文原意,这也有助于我们更好的理解它的概念。Domain adaptation的目标是在某一个训练集上训练的模型,可以应用到另一个相关但不相同的测试集上。对这个问题列原创 2017-01-14 15:27:45 · 21859 阅读 · 5 评论 -
反向传播算法的直观理解
一、反向传播的由来在我们开始DL的研究之前,需要把ANN—人工神经元网络以及bp算法做一个简单解释。关于ANN的结构,我不再多说,网上有大量的学习资料,主要就是搞清一些名词:输入层/输入神经元,输出层/输出神经元,隐层/隐层神经元,权值,偏置,激活函数接下来我们需要知道ANN是怎么训练的,假设ANN网络已经搭建好了,在所有应用问题中(不管是网络结构,训练手段如何变化)我们的目标原创 2016-11-05 21:59:22 · 48174 阅读 · 18 评论