深度学习
文章平均质量分 73
Britesun
这个作者很懒,什么都没留下…
展开
-
全连接层的作用
全连接层(fully connected layers,FC)在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话,全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。在实际使用中,全连接层可由卷积操作实现:对前层是全连接的全连接层可以转化为卷积核为1x1的卷积;而前层是卷积层的全连接层可以转化为卷积核为hxw的全局...原创 2018-08-16 10:05:05 · 16422 阅读 · 0 评论 -
Tensorflow在训练模型的时候如何指定GPU进行训练
tensorflow在训练模型的时候如何指定GPU进行训练实验室共用一个深度学习服务器,两块GPU,在用tensorflow训练深度学习模型的时候,假设我们在训练之前没有指定GPU来进行训练,则默认的是选用第0块GPU来训练我们的模型,而且其它几块GPU的也会显示被占用。有些时候,我们更希望可以通过自己指定一块或者几块GPU来训练我们的模型,而不是用这种默认的方法。接下来将简单介绍两种简单的方法...原创 2018-09-20 15:25:18 · 14026 阅读 · 5 评论 -
梯度消失问题与如何选择激活函数
梯度消失问题与如何选择激活函数什么是梯度消失?梯度消失有什么影响?是什么原因?解决方案有哪些?如何选择激活函数?1. 什么是梯度消失?梯度消失,常常发生在用基于梯度的方法训练神经网络的过程中。当我们在做反向传播,计算损失函数对权重的梯度时,随着越向后传播,梯度变得越来越小,这就意味着在网络的前面一些层的神经元,会比后面的训练的要慢很多,甚至不会...转载 2018-09-23 16:32:44 · 331 阅读 · 0 评论 -
计算机视觉四大基本任务(分类、定位、检测、分割)
计算机视觉四大基本任务(分类、定位、检测、分割)深度学习目前已成为发展最快、最令人兴奋的机器学习领域之一,许多卓有建树的论文已经发表,而且已有很多高质量的开源深度学习框架可供使用。然而,论文通常非常简明扼要并假设读者已对深度学习有相当的理解,这使得初学者经常卡在一些概念的理解上,读论文似懂非懂,十分吃力。另一方面,即使有了简单易用的深度学习框架,如果对深度学习常见概念和基本思路不了解,面对现实任务...转载 2018-09-10 18:00:20 · 17266 阅读 · 0 评论 -
[目标检测算法] 从R-CNN、Fast R-CNN、Faster R-CNN、R-FCN 到 FPN
「目标检测算法」从Faster R-CNN 、 R-FCN 到 FPN ...转载 2018-09-10 15:13:24 · 603 阅读 · 0 评论 -
从线性分类器到卷积神经网络
从线性分类器到卷积神经网络前言本文大致分成两大部分,第一部分尝试将本文涉及的分类器统一到神经元类模型中,第二部分阐述卷积神经网络(CNN)的发展简述和目前的相关工作。本文涉及的分类器(分类方法)有:线性回归逻辑回归(即神经元模型)神经网络(NN)支持向量机(SVM)卷积神经网络(CN...转载 2018-09-03 14:54:43 · 3097 阅读 · 0 评论 -
[Deep Learning 译文] LeCun、Bengio和Hinton三大牛的联合综述(下)
【翻译】本文为该综述文章中文译文的下半部分,详细介绍了CNN、分布式特征表示、RNN及其不同的应用,并对深度学习技术的未来发展进行展望。接上文:[Deep Learning 译文] LeCun、Bengio和Hinton三大牛的联合综述(上)卷积神经网络卷积神经网络被设计用来处理到多维数组数据的,比如一个有3个包含了像素值2-D图像组合成的一个具有3个颜色通道的...翻译 2018-09-11 16:03:56 · 2190 阅读 · 0 评论 -
[Deep Learning 译文] LeCun、Bengio和Hinton三大牛的联合综述(上)
英文原文链接:Deep Learning 三大牛人 联合综述 译文下篇链接:[Deep Learning 译文] LeCun、Bengio和Hinton三大牛的联合综述(下) 【翻译】本文为该综述文章中文译文的上半部分,深入浅出地介绍了深度学习的基本原理和核心优势。原文摘要:深度学习可以让那些拥有多个处理层的计算模型来学习具有多层次抽象的数据的表示。这些方法...翻译 2018-09-11 15:56:42 · 1444 阅读 · 0 评论 -
图像处理之特征提取
图像处理之特征提取 知乎上看到一个话题——目前火热的 Deep Learning 会灭绝传统的 SIFT / SURF 特征提取方法吗?由于之前研究过SIFT和HOG这两种传统的特征提取方法,故本篇文章先对SIFT和HOG作一综述,并比较二者优缺点。之后,将SIFT和HOG同神经网络特征...转载 2018-09-04 16:10:04 · 20162 阅读 · 0 评论 -
MIT最新算法,双向传播比BP快25倍深度学习
MIT最新算法,双向传播比BP快25倍深度学习 ...转载 2018-08-29 15:26:33 · 693 阅读 · 0 评论 -
Keras学习︱训练时显存out of memory的解决办法——fit_generator函数
keras默认情况下用fit方法载数据,就是全部载入。换用fit_generator方法就会以自己手写的方法用yield逐块装入 问题分析:fit()函数训练时,将全部训练集载入显存之后,才开始分批训练。显然很容易就超出了12G 解决办法:用fit_generator函数进行训练fit_generator函数将训练集分批载入显存,但需要自定义其第一个参数——generator函数,从而分批...原创 2018-08-24 16:59:39 · 3122 阅读 · 0 评论 -
BP算法与公式推导
BP算法与公式推导 ...转载 2018-08-27 17:00:15 · 1490 阅读 · 0 评论 -
深度学习笔记1(卷积神经网络)
...转载 2018-08-27 16:58:11 · 486 阅读 · 0 评论 -
【卷积神经网络-进化史】从LeNet到AlexNet
【卷积神经网络-进化史】从LeNet到AlexNet 本博客是【卷积神经网络-进化史】的第一部分《从LeNet到AlexNet》转载自本文链接:http://blog.csdn.net/cyh_24/article/details/51440344更多...转载 2018-08-19 21:54:00 · 245 阅读 · 0 评论 -
CPU与GPU的区别(转载知乎)
首先需要解释CPU和GPU这两个缩写分别代表什么。CPU即中央处理器,GPU即图形处理器。其次,要解释两者的区别,要先明白两者的相同之处:两者都有总线和外界联系,有自己的缓存体系,以及数字和逻辑运算单元。一句话,两者都为了完成计算任务而设计。两者的区别在于存在于片内的缓存体系和数字逻辑运算单元的结构差异:CPU虽然有多核,但总数没有超过两位数,每个核都有足够大的缓存和足够多的数字和逻辑运算单元...转载 2018-08-19 11:00:48 · 2592 阅读 · 0 评论 -
基于tensorflow的深度学习MultiGPU训练实战
基于tensorflow的深度学习MultiGPU训练实战更多深度学习在NLP方面应用的经典论文、实践经验和最新消息,欢迎关注微信公众号“深度学习与NLP” 或扫描头像二维码添加关注。进行深度学习模型训练的时候,一般使用GPU来进行加速,当训练样本只有百万级...转载 2018-08-19 09:20:12 · 492 阅读 · 0 评论 -
GBDT原理及利用GBDT构造新的特征-Python实现
GBDT原理及利用GBDT构造新的特征-Python实现 背景1 Gradient Boosting2 Gradient Boosting Decision Tree3 GBDT应用-回归和分类GBDT构建新的特征思想GBDT与LR融合方案源码内容generate GBDT featuresgenerate fea...原创 2018-11-15 20:34:45 · 518 阅读 · 0 评论