traditional networks & tricks
文章平均质量分 76
Alanyannick
Computer Vision, Machine learning, Artificial intelligence.
展开
-
PReLU Introduction
reference: http://blog.csdn.net/shuzfan/article/details/51345832本次介绍PReLU激活函数,方法来自于何凯明paper 《Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification》.1.PReLU激活转载 2016-06-17 22:32:48 · 2746 阅读 · 0 评论 -
DeepLearningNotes: Network In Network
reference:http://blog.csdn.net/hjimce/article/details/50458190一、相关理论本篇博文主要讲解2014年ICLR的一篇非常牛逼的paper:《Network In Network》,过去一年已经有了好几百的引用量,这篇paper改进了传统的CNN网络,采用了少量的参数就松松击败了Alexnet网络,Alexnet网络转载 2016-06-03 17:37:26 · 922 阅读 · 0 评论 -
深度学习中的数学与技巧(8):矩阵及其变换、特征值与特征向量的物理意义
reference:https://www.cnblogs.com/chaosimple/p/3172039.html最近在做聚类的时候用到了主成分分析PCA技术,里面涉及一些关于矩阵特征值和特征向量的内容,在网上找到一篇对特征向量及其物理意义说明较好的文章,整理下来,分享一下。 一、矩阵基础[1]:矩阵是一个表示二维空间的数组,矩阵可以看做是一个变换。在线性代数中转载 2016-10-20 17:23:27 · 2770 阅读 · 0 评论 -
深度学习中的数学与技巧(9):协方差矩阵的几何解释
reference:https://www.cnblogs.com/nsnow/p/4758202.htmlA geometric interpretation of the covariance matrixhttp://www.visiondummy.com/2014/04/geometric-interpretation-covariance-matrix/译文:转载 2016-10-20 17:32:18 · 4946 阅读 · 0 评论 -
深度学习中的数学与技巧(10):PCA的数学原理
reference:http://blog.codinglabs.org/articles/pca-tutorial.htmlPCA(Principal Component Analysis)是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示,可用于提取数据的主要特征分量,常用于高维数据的降维。网上关于PCA的文章有很多,但是大多数只描述了PCA的分析过程,而转载 2016-10-20 18:25:52 · 1692 阅读 · 0 评论 -
深度学习中的数学与技巧(11):dropout原理解读
理解dropout注意:图片都在github上放着,如果刷不开的话,可以考虑翻墙。转载请注明:http://blog.csdn.net/stdcoutzyx/article/details/49022443开篇明义,dropout是指在深度学习网络的训练过程中,对于神经网络单元,按照一定的概率将其暂时从网络中丢弃。注意是暂时,对于随机梯度下降来说,由于是随机丢弃,故而每一个mini-b转载 2016-10-20 19:49:33 · 4032 阅读 · 0 评论 -
深度学习中的数学与技巧(13):神经网络之激活函数
神经网络之激活函数(Activation Function)本博客仅为作者记录笔记之用,不免有很多细节不对之处。还望各位看官能够见谅,欢迎批评指正。更多相关博客请猛戳:http://blog.csdn.net/cyh_24如需转载,请附上本文链接:http://blog.csdn.net/cyh_24/article/details/50593400转载 2016-10-21 10:46:57 · 2495 阅读 · 0 评论 -
机器学习中的范数规则化:L0、L1与L2范数
今天我们聊聊机器学习中出现的非常频繁的问题:过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大,为了不吓到大家,我将这个五个部分分成两篇博文。知识有限,以下都是我一些浅显的看法,如果理解存在错误,希望大家不吝指正。谢谢。 监督机器学习问题无非就是“minimizeyour error whil转载 2017-01-03 18:39:47 · 626 阅读 · 0 评论 -
深度学习-网络Xavier初始化方法
reference: http://blog.csdn.net/shuzfan/article/details/51338178“Xavier”初始化方法是一种很有效的神经网络初始化方法,方法来源于2010年的一篇论文《Understanding the difficulty of training deep feedforward neural networks》,可惜直到近两年,这转载 2016-12-29 16:57:27 · 2965 阅读 · 0 评论 -
深度学习—网络MSRA初始化方法
本次简单介绍一下MSRA初始化方法,方法同样来自于何凯明paper 《Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification》.MotivationMSRA初始化推导证明补充说明Motivation网络初始转载 2016-12-29 16:59:28 · 3419 阅读 · 0 评论 -
深度神经网络结构以及Pre-Training的理解
Logistic回归、传统多层神经网络1.1 线性回归、线性神经网络、Logistic/Softmax回归线性回归是用于数据拟合的常规手段,其任务是优化目标函数:h(θ)=θ+θ1x1+θ2x2+....θnxnh(θ)=θ+θ1x1+θ2x2+....θnxn线性回归的求解法通常为两种:①解优化多元一次方程(矩阵)的传统方法,在数值分析里通常被称作”最小二乘法",转载 2016-12-29 17:11:48 · 1999 阅读 · 0 评论 -
How to design DL model(1):Highway Network & ResNet & ICCV 2015 笔记参考
reference:http://www.tuicool.com/articles/F77Bzu这几天,关于 ICCV 2015 有一个振奋人心的消息——“微软亚洲研究院视觉计算组的研究员们凭借深层神经网络技术的最新突破,以绝对优势获得 图像分类、图像定位以及图像检测 全部三个主要项目的冠军。同一时刻,他们在另一项图像识别挑战赛 MS COCO ( Microsoft Common Objec转载 2016-07-04 16:22:01 · 9548 阅读 · 0 评论 -
Deep Residual Learning for Image Recognition(ResNet)论文笔记
reference: http://blog.csdn.net/cv_family_z/article/details/50328175http://blog.csdn.net/yaoxingfu72/article/details/50764087本文介绍一下2015 ImageNet中分类任务的冠军——MSRA何凯明团队的Residual Networks。实际上,MSRA原创 2016-07-04 15:55:55 · 11449 阅读 · 2 评论 -
深度学习中的数学与技巧(0):优化方法总结比较(sgd/momentum/Nesterov/adagrad/adadelta)
reference: http://blog.csdn.net/luo123n/article/details/48239963前言这里讨论的优化问题指的是,给定目标函数f(x),我们需要找到一组参数x,使得f(x)的值最小。本文以下内容假设读者已经了解机器学习基本知识,和梯度下降的原理。SGDSGD指stochastic gradient descen转载 2016-06-22 11:44:33 · 4992 阅读 · 0 评论 -
Training Very Deep Networks--Highway Networks 论文笔记
网上有传言 微软的深度残差学习是抄袭 Highway Networks,只是Highway Networks的一个特例。Highway Networks 的确是先发表的。http://people.idsia.ch/~rupesh/very_deep_learning/有开源代码reference: http://blog.csdn.net/cv_family_z/arti转载 2016-07-04 11:39:06 · 3420 阅读 · 0 评论 -
Recall/Precision/FPPI 评价方式
参考:http://blog.csdn.net/wangran51/article/details/7579100http://blog.csdn.net/shaoxiaohu1/article/details/8998515最近一直在做相关推荐方面的研究与应用工作,召回率与准确率这两个概念偶尔会遇到,知道意思,但是有时候要很清晰地向同学介绍则有点转不过弯来。举个...转载 2016-06-22 15:16:57 · 13755 阅读 · 2 评论 -
信息检索(IR)的评价指标介绍 - 准确率、召回率、F1、mAP、ROC、AUC
reference:http://blog.csdn.net/marising/article/details/6543943在信息检索、分类体系中,有一系列的指标,搞清楚这些指标对于评价检索和分类性能非常重要,因此最近根据网友的博客做了一个汇总。准确率、召回率、F1信息检索、分类、识别、翻译等领域两个最基本指标是召回率(Recall Rate)和准确率(Precision R转载 2016-06-22 17:08:58 · 1430 阅读 · 0 评论 -
deep learning: heat Map
reference: http://blog.csdn.net/liyaohhh/article/details/50990927图像的heatMap是什么,一副图片的heatmap可以帮助我们在上面检测到想要的object,如下左图所示: 可以直接的看到,人脸的的区域有红色区域,这个时候呢用sliding window在图片上进行检测,对于每一个窗口里面的o转载 2016-06-22 23:46:27 · 4964 阅读 · 0 评论 -
深度学习中的数学与技巧(1):BN之利用随机前馈神经网络生成图像观察网络复杂度
零、声明这是一篇失败的工作,我低估了batch normalization里scale/shift的作用。细节在第四节,请大家引以为戒。一、前言 关于神经网络的作用有一个解释:它是一个万能函数逼近器。通过BP算法调整权重,在理论上神经网络可以近似出任意的函数。 当然,要近似出来的函数的复杂度肯定不能超过神经网络的表达能力,不然就会产生欠拟合的现象。而一个网络能承载转载 2016-10-19 15:28:00 · 1697 阅读 · 0 评论 -
深度学习中的数学与技巧(2):《Batch Normalization Accelerating Deep Network Training by Reducing Interna
今年过年之前,MSRA和Google相继在ImagenNet图像识别数据集上报告他们的效果超越了人类水平,下面将分两期介绍两者的算法细节。 这次先讲Google的这篇《Batch Normalization Accelerating Deep Network Training by Reducing Internal Covariate Shift》,主要是因为这里面的思想比较有普适性,转载 2016-10-19 15:37:09 · 929 阅读 · 0 评论 -
深度学习中的数学与技巧(3):从Bayesian角度浅析Batch Normalization
前置阅读:http://blog.csdn.net/happynear/article/details/44238541——Batch Norm阅读笔记与实现前置阅读:http://www.zhihu.com/question/38102762——知乎网友Deep Learning与Bayesian Learning在很多情况下是相通的,随着Deep Learning理论的转载 2016-10-19 15:41:36 · 1543 阅读 · 0 评论 -
深度学习中的数学与技巧(4): BatchNormalization 代码实现
BatchNormalization是神经网络中常用的参数初始化的方法。其算法流程图如下: 我们可以把这个流程图以门电路的形式展开,方便进行前向传播和后向传播: 那么前向传播非常简单,直接给出代码:def batchnorm_forward(x, gamma, beta, eps): N, D = x.shape #为了后向传播求导方便,这里都是分步进行的转载 2016-10-19 15:43:27 · 3350 阅读 · 0 评论 -
深度学习中的数学与技巧(5):白化whitening
一、相关理论 白化这个词,可能在深度学习领域比较常遇到,挺起来就是高大上的名词,然而其实白化是一个比PCA稍微高级一点的算法而已,所以如果熟悉PCA,那么其实会发现这是一个非常简单的算法。 白化的目的是去除输入数据的冗余信息。假设训练数据是图像,由于图像中相邻像素之间具有很强的相关性,所以用于训练时输入是冗余的;白化的目的就是降低输入的冗余性。 输入数据集转载 2016-10-19 15:47:32 · 4796 阅读 · 0 评论 -
深度学习中的数学与技巧(6): 详解协方差与协方差矩阵计算
协方差的定义 对于一般的分布,直接代入E(X)之类的就可以计算出来了,但真给你一个具体数值的分布,要计算协方差矩阵,根据这个公式来计算,还真不容易反应过来。网上值得参考的资料也不多,这里用一个例子说明协方差矩阵是怎么计算出来的吧。记住,X、Y是一个列向量,它表示了每种情况下每个样本可能出现的数。比如给定则X表示x轴可能出现的数,Y表示y轴可能出现的。注意这里是关键,给定了4转载 2016-10-20 10:39:23 · 16239 阅读 · 2 评论 -
深度学习中的数学与技巧(7):特征值和特征向量的几何意义、计算及其性质
一、特征值和特征向量的几何意义特征值和特征向量确实有很明确的几何意义,矩阵(既然讨论特征向量的问题,当然是方阵,这里不讨论广义特征向量的概念,就是一般的特征向量)乘以一个向量的结果仍是同维数的一个向量。因此,矩阵乘法对应了一个变换,把一个向量变成同维数的另一个向量。那么变换的效果是什么呢?这当然与方阵的构造有密切的关系,比如可以取适当的二维方阵,使得这个变换的效果就是将平面上的二维转载 2016-10-20 10:48:03 · 5144 阅读 · 0 评论 -
How to design DL model(2):Inception(v4)-ResNet and the Impact of Residual Connections on Learning
转载自: http://www.jianshu.com/p/329d2c0cfca9Google Research的Inception模型和Microsoft Research的Residual Net模型两大图像识别杀器结合效果如何?在这篇2月23日公布在arxiv上的文章“Inception-v4, Inception-ResNet and the Impact of Resi转载 2017-08-18 15:11:46 · 2075 阅读 · 0 评论