排序:
默认
按更新时间
按访问量
RSS订阅

How to design DL model(2):Inception(v4)-ResNet and the Impact of Residual Connections on Learning

转载自: http://www.jianshu.com/p/329d2c0cfca9 Google Research的Inception模型和Microsoft Research的Residual Net模型两大图像识别杀器结合效果如何?在这篇2月23日公布在arxiv上的文章“Incept...

2017-08-18 15:11:46

阅读数:1873

评论数:0

机器学习中的范数规则化:L0、L1与L2范数

今天我们聊聊机器学习中出现的非常频繁的问题:过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大,为了不吓到大家,我将这个五个部分分成两篇博文。知识有限,以下都是我一些浅显的看法,如果理解存在错误,希望大家不吝指正。谢谢。 ...

2017-01-03 18:39:47

阅读数:362

评论数:0

深度神经网络结构以及Pre-Training的理解

Logistic回归、传统多层神经网络 1.1 线性回归、线性神经网络、Logistic/Softmax回归 线性回归是用于数据拟合的常规手段,其任务是优化目标函数:h(θ)=θ+θ1x1+θ2x2+....θnxnh(θ)=θ+θ1x1+θ2x2+....θnxn 线性回归的求...

2016-12-29 17:11:48

阅读数:519

评论数:0

深度学习—网络MSRA初始化方法

本次简单介绍一下MSRA初始化方法,方法同样来自于何凯明paper 《Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification》. Motiva...

2016-12-29 16:59:28

阅读数:1478

评论数:0

深度学习-网络Xavier初始化方法

reference: http://blog.csdn.net/shuzfan/article/details/51338178 “Xavier”初始化方法是一种很有效的神经网络初始化方法,方法来源于2010年的一篇论文《Understanding the difficulty of tra...

2016-12-29 16:57:27

阅读数:1413

评论数:0

深度学习中的数学与技巧(13):神经网络之激活函数

神经网络之激活函数(Activation Function) 本博客仅为作者记录笔记之用,不免有很多细节不对之处。 还望各位看官能够见谅,欢迎批评指正。 更多相关博客请猛戳:http://blog.csdn.net/cyh_24 如需转载,请附上本文链接:http://blog.csd...

2016-10-21 10:46:57

阅读数:1751

评论数:0

深度学习中的数学与技巧(11):dropout原理解读

理解dropout 注意:图片都在github上放着,如果刷不开的话,可以考虑翻墙。 转载请注明:http://blog.csdn.net/stdcoutzyx/article/details/49022443 开篇明义,dropout是指在深度学习网络的训练过程中,对于神经网络单元,按照一...

2016-10-20 19:49:33

阅读数:2414

评论数:0

深度学习中的数学与技巧(10):PCA的数学原理

reference:http://blog.codinglabs.org/articles/pca-tutorial.html PCA(Principal Component Analysis)是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示,可用于提取数据的主...

2016-10-20 18:25:52

阅读数:1305

评论数:0

深度学习中的数学与技巧(9):协方差矩阵的几何解释

reference:https://www.cnblogs.com/nsnow/p/4758202.html A geometric interpretation of the covariance matrix http://www.visiondummy.com/2014/04...

2016-10-20 17:32:18

阅读数:1454

评论数:0

深度学习中的数学与技巧(8):矩阵及其变换、特征值与特征向量的物理意义

reference:https://www.cnblogs.com/chaosimple/p/3172039.html 最近在做聚类的时候用到了主成分分析PCA技术,里面涉及一些关于矩阵特征值和特征向量的内容,在网上找到一篇对特征向量及其物理意义说明较好的文章,整理下来,分享一下。  ...

2016-10-20 17:23:27

阅读数:1691

评论数:0

深度学习中的数学与技巧(7):特征值和特征向量的几何意义、计算及其性质

一、特征值和特征向量的几何意义 特征值和特征向量确实有很明确的几何意义,矩阵(既然讨论特征向量的问题,当然是方阵,这里不讨论广义特征向量的概念,就是一般的特征向量)乘以一个向量的结果仍是同维数的一个向量。因此,矩阵乘法对应了一个变换,把一个向量变成同维数的另一个向量。 那么变换的效果是什么呢?...

2016-10-20 10:48:03

阅读数:1827

评论数:0

深度学习中的数学与技巧(6): 详解协方差与协方差矩阵计算

协方差的定义   对于一般的分布,直接代入E(X)之类的就可以计算出来了,但真给你一个具体数值的分布,要计算协方差矩阵,根据这个公式来计算,还真不容易反应过来。网上值得参考的资料也不多,这里用一个例子说明协方差矩阵是怎么计算出来的吧。 记住,X、Y是一个列向量,它表示了每种情况下每个样本可能出现...

2016-10-20 10:39:23

阅读数:8252

评论数:2

深度学习中的数学与技巧(5):白化whitening

一、相关理论     白化这个词,可能在深度学习领域比较常遇到,挺起来就是高大上的名词,然而其实白化是一个比PCA稍微高级一点的算法而已,所以如果熟悉PCA,那么其实会发现这是一个非常简单的算法。     白化的目的是去除输入数据的冗余信息。假设训练数据是图像,由于图像中相邻像素之间具有很强的...

2016-10-19 15:47:32

阅读数:2579

评论数:0

深度学习中的数学与技巧(4): BatchNormalization 代码实现

BatchNormalization是神经网络中常用的参数初始化的方法。其算法流程图如下:  我们可以把这个流程图以门电路的形式展开,方便进行前向传播和后向传播:  那么前向传播非常简单,直接给出代码: def batchnorm_forward(x, gamma, beta, eps):...

2016-10-19 15:43:27

阅读数:1963

评论数:0

深度学习中的数学与技巧(3):从Bayesian角度浅析Batch Normalization

前置阅读:http://blog.csdn.net/happynear/article/details/44238541——Batch Norm阅读笔记与实现 前置阅读:http://www.zhihu.com/question/38102762——知乎网友 Deep Learning与B...

2016-10-19 15:41:36

阅读数:1113

评论数:0

深度学习中的数学与技巧(2):《Batch Normalization Accelerating Deep Network Training by Reducing Interna

今年过年之前,MSRA和Google相继在ImagenNet图像识别数据集上报告他们的效果超越了人类水平,下面将分两期介绍两者的算法细节。   这次先讲Google的这篇《Batch Normalization Accelerating Deep Network Training by Redu...

2016-10-19 15:37:09

阅读数:754

评论数:0

深度学习中的数学与技巧(1):BN之利用随机前馈神经网络生成图像观察网络复杂度

零、声明 这是一篇失败的工作,我低估了batch normalization里scale/shift的作用。细节在第四节,请大家引以为戒。 一、前言   关于神经网络的作用有一个解释:它是一个万能函数逼近器。通过BP算法调整权重,在理论上神经网络可以近似出任意的函数。    当然,要近似出来...

2016-10-19 15:28:00

阅读数:1235

评论数:0

How to design DL model(1):Highway Network & ResNet & ICCV 2015 笔记参考

reference:http://www.tuicool.com/articles/F77Bzu 这几天,关于 ICCV 2015 有一个振奋人心的消息——“微软亚洲研究院视觉计算组的研究员们凭借深层神经网络技术的最新突破,以绝对优势获得 图像分类、图像定位以及图像检测 全部三个主要项目的冠军。同...

2016-07-04 16:22:01

阅读数:8762

评论数:0

Deep Residual Learning for Image Recognition(ResNet)论文笔记

reference:  http://blog.csdn.net/cv_family_z/article/details/50328175 http://blog.csdn.net/yaoxingfu72/article/details/50764087 本文介绍一下2015 ImageNet...

2016-07-04 15:55:55

阅读数:9034

评论数:2

Training Very Deep Networks--Highway Networks 论文笔记

网上有传言 微软的深度残差学习是抄袭 Highway Networks,只是Highway Networks的一个特例。Highway Networks 的确是先发表的。 http://people.idsia.ch/~rupesh/very_deep_learning/ 有开源代码 ...

2016-07-04 11:39:06

阅读数:2331

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭