深度学习Deep Learning
beihangzxm123
这个作者很懒,什么都没留下…
展开
-
基于R-CNN的物体检测-CVPR 2014
转载自:http://blog.csdn.net/hjimce/article/details/50187029一、相关理论 本篇博文主要讲解2014年CVPR上的经典paper:《Rich feature hierarchies for Accurate Object Detection and Segmentation》,这篇文章的算法思想又被称之为:R-CNN(Regions转载 2016-04-22 16:35:13 · 12954 阅读 · 0 评论 -
读DL论文心得之SPP
这篇论文是Kaiming He等发表在ECCV2014上面的Spatial pyramid pooling in deep convolutional networks for visual recognition。 本篇论文的代码也是开源的,还有一个很棒的slides。Introduction传统CNN中,直接对图像剪切和变形来达到需要的尺寸。虽然卷积的过程不要求转载 2016-03-16 17:29:39 · 979 阅读 · 0 评论 -
读DL论文心得之RCNN
转载自:读DL论文心得之RCNN - liumaolincycle的博客 - 博客频道 - CSDN.NEThttp://blog.csdn.net/liumaolincycle/article/details/49787101之前研究了一段时间,又去做了一段时间的项目,发现以前看的文章都不记得讲了什么,于是又重读一遍,记录下认为重要的地方。 这篇论文是Ross Girshick等发表转载 2016-03-16 17:28:11 · 2891 阅读 · 0 评论 -
神经网络之激活函数面面观
转载自:【机器学习】神经网络之激活函数面面观 - 仙道菜 - 博客频道 - CSDN.NEThttp://blog.csdn.net/cyh_24/article/details/50593400日常 coding 中,我们会很自然的使用一些激活函数,比如:sigmoid、ReLU等等。不过好像忘了问自己一(n)件事:为什么需要激活函数?激活函数都有哪些?都转载 2016-01-27 16:12:07 · 3252 阅读 · 0 评论 -
深度学习的四个部分
深度学习领域的学术研究可以包含四部分:优化(Optimization),泛化(Generalization),表达(Representation)以及应(Applications)。除了应用(Applications)之外每个部分又可以分成实践和理论两个方面。优化(Optimization):深度学习的问题最后似乎总能变成优化问题,这个时候数值优化的方法就变得尤其重要。从实践方面来说,原创 2016-01-27 12:06:49 · 2906 阅读 · 0 评论 -
如何评价rcnn、fast-rcnn和faster-rcnn这一系列方法?
转载自:如何评价rcnn、fast-rcnn和faster-rcnn这一系列方法? - 机器学习 - 知乎http://www.zhihu.com/question/35887527 参考:CNN检测摘要 - 孙佰贵的专栏 - 博客频道 - CSDN.NEThttp://blog.csdn.net/sunbaigui/article/details/47728251转载 2015-12-06 10:23:56 · 1485 阅读 · 0 评论 -
深度学习之常见tricks
本文主要给出了在实现网络或者调节代码过程使用的以及平时看一些文章记录下来的一些小技巧,主要针对卷积网络和图像处理。就个人感受,有些技巧还是非常有效的,而且通常可以通过看开源库的一些文档或者源代码来发掘这些内容,最后能够称为自己所用。1.构造validation set一般数据集可能不会给出验证集,所以自己会从给的训练集中按照一定比例(9:1)分离出验证集。2.增加训练数据为了更好的转载 2016-01-07 11:25:21 · 4261 阅读 · 3 评论 -
卷积神经网络初探 | 数据科学家联盟 http://dataunion.org/20942.html
转载自:卷积神经网络初探 | 数据科学家联盟http://dataunion.org/20942.html前言目前为止我已经完整地学完了三个机器学习教程:包括“Stanford CS229”,”Machine Learning on Coursrea” 和 “Stanford UFLDL”,卷积神经网络是其中最抽象的概念。维基百科对卷积的数学转载 2016-01-05 16:30:40 · 1370 阅读 · 0 评论 -
机器学习和深度学习学习资料
转载自:机器学习和深度学习学习资料 - 机器学习 / Deep Learning - 算法组http://suanfazu.com/t/ji-qi-xue-xi-he-shen-du-xue-xi-xue-xi-zi-liao/126比较全面的收集了机器学习的介绍文章,从感知机、神经网络、决策树、SVM、Adaboost到随机森林、Deep Learning。转载 2016-01-04 11:11:09 · 1291 阅读 · 0 评论 -
从机器学习谈起
在进入正题前,我想读者心中可能会有一个疑惑:机器学习有什么重要性,以至于要阅读完这篇非常长的文章呢? 我并不直接回答这个问题前。相反,我想请大家看两张图,下图是图一: 图1 机器学习界的执牛耳者与互联网界的大鳄的联姻 这幅图上上的三人是当今机器学习界的执牛耳者。中间的是Geoffrey Hinton, 加拿大多伦多大学的教授,如今被聘为“Google大脑”的转载 2015-07-07 11:49:14 · 1228 阅读 · 2 评论 -
神经网络浅讲:从神经元到深度学习
转载自:http://www.cnblogs.com/subconscious/p/5058741.html神经网络是一门重要的机器学习技术。它是目前最为火热的研究方向--深度学习的基础。学习神经网络不仅可以让你掌握一门强大的机器学习方法,同时也可以更好地帮助你理解深度学习技术。 本文以一种简单的,循序的方式讲解神经网络。适合对神经网络了解不多的同学。本文对阅读没有一定的前提转载 2016-01-01 16:59:49 · 33100 阅读 · 8 评论 -
深度学习学习资料
转载自:深度学习(一)深度学习学习资料 - hjimce的专栏 - 博客频道 - CSDN.NEThttp://blog.csdn.net/hjimce/article/details/45421595一、学习清单:1、收集了各种最新最经典的文献,神经网络的资源列表:https://github.com/robertsdionne/neural-ne转载 2015-12-29 16:58:04 · 869 阅读 · 0 评论 -
读DL论文心得之Fast RCNN
这篇论文是Ross Girshick等准备发表在ICCV 2015上面的Fast R-CNN。本篇论文也开源了(代码在此)。它是在R-CNN和SPPnet这一个系列的进阶版,相比起R-CNN,FRCN的训练阶段要快9倍,测试阶段要快213倍,相比起SPPnet,FRCN的训练阶段要快3倍,测试阶段要快10倍,并且准确率也有一定提高。首先看看R-CNN和SPPnet的不足之处。drawbac转载 2016-03-16 17:30:46 · 5246 阅读 · 0 评论 -
Deep Learning Resources
ImageNetAlexNetImageNet Classification with Deep Convolutional Neural Networksnips-page: http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-paper: http://papers.nips.cc/p原创 2016-03-14 15:54:42 · 5481 阅读 · 0 评论 -
Batch Normalization 学习笔记
转载自:http://blog.csdn.net/hjimce/article/details/50866313一、背景意义本篇博文主要讲解2015年深度学习领域,非常值得学习的一篇文献:《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》,这个算法转载 2016-04-22 16:22:03 · 7355 阅读 · 2 评论 -
Deep Neural Networks的Tricks
Here we will introduce these extensive implementation details, i.e., tricks or tips, for building and training your own deep networks.主要以下面八个部分展开介绍:mainly in eight aspects: 1) data augment翻译 2016-04-22 16:19:03 · 1464 阅读 · 0 评论 -
正则化方法/防止过拟合提高泛化能力的方法:L1和L2 regularization、数据集扩增、dropout
转载自:http://blog.csdn.net/u012162613/article/details/44261657本文是《Neural networks and deep learning》概览 中第三章的一部分,讲机器学习/深度学习算法中常用的正则化方法。(本文会不断补充) 正则化方法:防止过拟合,提高泛化能力在训练数据不够多时,或者overtraini转载 2016-04-21 15:33:29 · 4340 阅读 · 1 评论 -
机器学习算法中如何选取超参数:学习速率、正则项系数、minibatch size
转载自:http://blog.csdn.net/u012162613/article/details/44265967本文是《Neural networks and deep learning》概览 中第三章的一部分,讲机器学习算法中,如何选取初始的超参数的值。(本文会不断补充) 学习速率(learning rate,η)运用梯度下降算法进行优化时,权重的更新转载 2016-04-21 15:31:40 · 5342 阅读 · 0 评论 -
深度学习卷积神经网络大事件一览
转载自:http://blog.csdn.net/u013088062/article/details/51118744 深度学习(DeepLearning)尤其是卷积神经网络(CNN)作为近几年来模式识别中的研究重点,受到人们越来越多的关注,相关的参考文献也是层出不穷,连续几年都占据了CVPR的半壁江山,但是万变不离其宗,那些在深度学习发展过程中起到至关重要的推动作用的经典文献依然值得回味,转载 2016-04-19 16:35:59 · 6276 阅读 · 0 评论 -
Batch Normalization导读
转载自:http://blog.csdn.net/malefactor/article/details/51476961#0-tsina-1-62851-397232819ff9a47a7b7e80a40613cfe1Batch Normalization作为最近一年来DL的重要成果,已经广泛被证明其有效性和重要性。目前几乎已经成为DL的标配了,任何有志于学习DL的同学们朋友们转载 2016-05-25 12:09:14 · 1222 阅读 · 0 评论 -
Faster R-CNN
转载自:http://blog.csdn.net/cv_family_z/article/details/46864473摘要:SPPNet和Fast R-CNN降低了网络学习特征的时间,SS由于需耗时1~2s,EdgeBoxes 耗时约0.2s,提取proposal的方法成为检测的瓶颈。本文提出了Region Proposal Networks(RPNs)实现实时提取prop转载 2015-12-16 15:31:14 · 1280 阅读 · 0 评论 -
三种权重的初始化方法
总结了三种权重的初始化方法,前两种比较常见,后一种是最新的。1. GaussianWeights are randomly drawn from Gaussian distributions with fixed mean (e.g., 0) and fixed standard deviation (e.g., 0.01). This is the m原创 2016-03-28 11:19:45 · 26263 阅读 · 0 评论 -
caffe卷积层代码阅读笔记
转载自:http://blog.csdn.net/tangwei2014/article/details/47730797卷积的实现思想:通过im2col将image转为一个matrix,将卷积操作转为矩阵乘法运算通过调用GEMM完成运算操作下面两个图是我在知乎中发现的,“盗”用一下,确实很好,能帮助理解。 参数剖析配置参数:(从配置文件得来)转载 2016-03-28 11:17:56 · 1381 阅读 · 0 评论 -
神经网络weight参数怎么初始化
转载自:http://blog.csdn.net/xbinworld/article/details/50603552神经网络,或者深度学习算法的参数初始化是一个很重要的方面,传统的初始化方法从高斯分布中随机初始化参数。甚至直接全初始化为1或者0。这样的方法暴力直接,但是往往效果一般。本篇文章的叙述来源于一个国外的讨论帖子[1],下面就自己的理解阐述一下。首先我转载 2016-03-28 11:02:00 · 3929 阅读 · 0 评论 -
An overview of gradient descent optimization algorithms
转载自:http://sebastianruder.com/optimizing-gradient-descent/Table of contents:Gradient descent variantsBatch gradient descentStochastic gradient descentMini-batch gradient descent转载 2016-03-28 10:39:51 · 3604 阅读 · 0 评论 -
损失函数(Loss Function) -1
转载自:损失函数(Loss Function) -1 - 阁子 - 博客园http://www.cnblogs.com/rocketfan/p/4083821.html 损失函数(Loss Function) -1http://www.ics.uci.edu/~dramanan/teaching/ics273a_winte转载 2016-04-12 10:20:25 · 6165 阅读 · 0 评论 -
Deep Learning List
Free Online BooksDeep Learning by Yoshua Bengio, Ian Goodfellow and Aaron Courville (05/07/2015)Neural Networks and Deep Learning by Michael Nielsen (Dec 2014)Deep Learning by Microsoft Research (原创 2016-03-14 16:25:31 · 2021 阅读 · 0 评论 -
7 Steps for becoming Deep Learning Expert
转载自:7 Steps for becoming Deep Learning Expert | Ankit Agarwal | 领英https://www.linkedin.com/pulse/7-steps-becoming-deep-learning-expert-ankit-agarwalOne of the frequent questions we get abo转载 2015-12-14 16:26:29 · 1114 阅读 · 0 评论 -
Deep Learning(深度学习)学习笔记整理系列之(五)
接上 9.2、Sparse Coding稀疏编码 如果我们把输出必须和输入相等的限制放松,同时利用线性代数中基的概念,即O = a1*Φ1 + a2*Φ2+….+ an*Φn, Φi是基,ai是系数,我们可以得到这样一个优化问题:Min |I – O|,其中I表示输入,O表示输出。 通过求解这个最优化式子,我们可以求得系数ai和基Φi转载 2015-08-25 10:12:49 · 578 阅读 · 0 评论 -
Deep Learning(深度学习)学习笔记整理系列之(四)
接上 九、Deep Learning的常用模型或者方法9.1、AutoEncoder自动编码器 Deep Learning最简单的一种方法是利用人工神经网络的特点,人工神经网络(ANN)本身就是具有层次结构的系统,如果给定一个神经网络,我们假设其输出与输入是相同的,然后训练调整其参数,得到每一层中的权重。自然地,我们就得到了输入I的几种不同表示(每一层转载 2015-08-25 10:11:40 · 641 阅读 · 0 评论 -
Deep Learning(深度学习)学习笔记整理系列之(二)
接上 因为我们要学习的是特征的表达,那么关于特征,或者说关于这个层级特征,我们需要了解地更深入点。所以在说Deep Learning之前,我们有必要再啰嗦下特征(呵呵,实际上是看到那么好的对特征的解释,不放在这里有点可惜,所以就塞到这了)。 四、关于特征 特征是机器学习系统的原材料,对最终模型的影响是毋庸置疑的。如果数据被很好的表转载 2015-08-25 09:56:32 · 677 阅读 · 0 评论 -
Deep Learning(深度学习)学习笔记整理系列之(一)
声明:1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。2)本文仅供学术交流,非商用。所以每一部分具体的参考资料并没有详细对应。如果某部分不小心侵犯了大家的利益,还望海涵,并联系博主删除。3)本人才疏学浅,整理总结的时候难免出错,还望各位前辈不吝指正,谢谢。4)阅读本转载 2015-08-25 09:33:15 · 970 阅读 · 0 评论 -
Deep Learning(深度学习)学习笔记整理系列之(三)
接上 好了,到了这一步,终于可以聊到Deep learning了。上面我们聊到为什么会有Deep learning(让机器自动学习良好的特征,而免去人工选取过程。还有参考人的分层视觉处理系统),我们得到一个结论就是Deep learning需要多层来获得更抽象的特征表达。那么多少层才合适呢?用什么架构来建模呢?怎么进行非监督训练呢? 五、Deep Le转载 2015-08-25 10:05:41 · 614 阅读 · 0 评论 -
Deep Learning(深度学习)学习笔记整理系列之(七)
接上 9.5、Convolutional Neural Networks卷积神经网络 卷积神经网络是人工神经网络的一种,已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络,降低了网络模型的复杂度,减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显,使图像可以直接作为网络的输入,避免了传统识别算法中复杂的特征提取和转载 2015-08-25 10:15:33 · 764 阅读 · 0 评论 -
Deep Learning(深度学习)学习笔记整理系列之(六)
接上 注:下面的两个Deep Learning方法说明需要完善,但为了保证文章的连续性和完整性,先贴一些上来,后面再修改好了。9.3、Restricted Boltzmann Machine (RBM)限制波尔兹曼机 假设有一个二部图,每一层的节点之间没有链接,一层是可视层,即输入数据层(v),一层是隐藏层(h),如果假设所有的节点都是随机二转载 2015-08-25 10:14:07 · 114 阅读 · 0 评论 -
机器学习——深度学习(Deep Learning)经典资料
Deep Learning是机器学习中一个非常接近AI的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,最近研究了机器学习中一些深度学习的相关知识,本文给出一些很有用的资料和心得。Key Words:有监督学习与无监督学习,分类、回归,密度估计、聚类,深度学习,Sparse DBN,1. 有监督学习和无监督学习给定一组数据(inpu转载 2015-08-28 11:44:12 · 1041 阅读 · 0 评论 -
深度学习总结
最近一时兴起打算研究下深度学习,这个名词近来很火,貌似成为了人工智能领域一根新的稻草。经过几天的查资料和看论文,已经初步有了第一印象,闲话少说,结合一些资料,进入正题。深度学习的起源深度学习(Deep Learning)是机器学习中一个非常接近AI的领域,其动机在于建立、模拟人脑进行分析学习的神经网络。深度学习属于无监督学习。深度学习的概念源于人工神经网络的研究。深度学转载 2015-08-07 08:05:47 · 1520 阅读 · 0 评论 -
整理:深度学习 vs 机器学习 vs 模式识别
摘要:本文我们来关注下三个非常相关的概念(深度学习、机器学习和模式识别),以及他们与2015年最热门的科技主题(机器人和人工智能)的联系,让你更好的理解计算机视觉,同时直观认识机器学习的缓慢发展过程。【编者按】本文来自CMU的博士,MIT的博士后,vision.ai的联合创始人Tomasz Malisiewicz的个人博客文章,阅读本文,你可以更好的理解计算机视觉是怎么一回事,同时对机转载 2015-08-07 08:09:42 · 1305 阅读 · 0 评论 -
深度学习-LeCun、Bengio和Hinton的联合综述(上)
摘要:最新的《Nature》杂志专门为“人工智能 + 机器人”开辟了一个专题 ,发表多篇相关论文,其中包括了LeCun、Bengio和Hinton首次合作的这篇综述文章“Deep Learning”。【编者按】三大牛Yann LeCun、Yoshua Bengio和Geoffrey Hinton在深度学习领域的地位无人不知。为纪念人工智能提出60周年,最新的《Nature》杂志专门开辟原创 2015-08-05 15:30:50 · 766 阅读 · 0 评论 -
深度学习-LeCun、Bengio和Hinton的联合综述(下)
摘要:Yann LeCun、Yoshua Bengio和Geoffrey Hinton发表于《Nature》的综述文章“Deep Learning”中文译文的下半部分,详细介绍了CNN、分布式特征表示、RNN及其不同的应用,并对深度学习技术的未来发展进行了展望。【编者按】三大牛Yann LeCun、Yoshua Bengio和Geoffrey Hinton在深度学习领域的地位无人不知。原创 2015-08-05 15:32:30 · 1042 阅读 · 0 评论