![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
deeplearning
文章平均质量分 90
小时候贼聪明
算法工程师/人工智能爱好者
展开
-
从神经网络到深度学习(一 )
神经网络是由具有适应性的简单单元组成的广泛并行互连的网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。 ——T.Koholen原创 2017-08-27 16:17:29 · 3636 阅读 · 0 评论 -
WRNS:Wide Residual Networks 论文笔记
俗话说,高白瘦才是唯一的出路。但在深度学习界貌似并不是这样。Wide Residual Networks就要证明自己,矮胖的神经网络也是潜力股。原创 2017-05-15 22:30:26 · 19383 阅读 · 2 评论 -
GoogLeNet:Inception V3:Rethinking the Inception Architecture for Computer Vision论文笔记
俗话说得好,探索的道路是永无止境的,GoogLeNet经过了Inception V1、Inception V2(BN)的发展以后,Google的Szegedy等人又对其进行了更深层次的研究和拓展,在本文中,作者提出了当前环境下,网络设计的一些重要准则,并根据这些准则,对原有的GoogLeNet进行了改进,提出了一个更加复杂、性能更好的模型框架:Inception V3。原创 2017-03-29 16:10:09 · 11573 阅读 · 2 评论 -
GoogLeNet:Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning论文笔记
ResNet以及GoogLeNet在图像识别上都取得了非常优异都效果,并且都具有各自都风格和特点。如果将ResNet都Residual block和GoogLeNet都Inception block结合起来,是否可以生成一种结构更加复杂、性能更加强大的模型呢?原创 2017-04-02 17:43:32 · 4592 阅读 · 0 评论 -
Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift论文笔记
虽然GoogLeNet在ILSVRC2014上斩获了各种大奖,但是GooGle的各位大牛依然没有闲着,他们马上又抛出了一个新的问题:Internal Covariate Shift,也就是本文要研究的问题,他们提出了一个新的层:Batch Normalization(BN),不仅能够很好的解决这个问题,而且在增快训练速度的基础上能够有效的提高模型的性能。原创 2017-03-23 14:31:55 · 2768 阅读 · 0 评论 -
机器学习中的回归(regression)与分类(classification)问题
分类模型和回归模型本质一样,分类模型是将回归模型的输出离散化。转载 2017-03-13 20:49:43 · 66846 阅读 · 0 评论 -
GoogLeNet Inception V1:Going deeper with convolutions论文笔记
在ILSVRC2014上最耀眼的除了VGG,那就非GoogLeNet莫属了,它与VGG类似的地方就是,关注于模型的深度,使模型倾向于deeper,与VGG不同的是,它的尝试更加新颖。从2014年至今,GoogLeNet经历了Inception v1到v4,以及Inception-ResNet的发展,也证明了Inception最初思想的潜力。今天我们就来看看GoogLeNet Inception V1的框架和效果。原创 2017-03-13 17:02:23 · 4554 阅读 · 1 评论 -
干货 | ImageNet 历届冠军架构最新评析:哪个深度学习网络最适合你(转)
【导读】计算机图像计算水平稳步的增长,但各大厉害的模型尚未得到合理应用。在这篇 ICLR 2017 提交论文《深度神经网络模型分析在实践中的应用》中,作者从精确度、内存占用、参数、推理时间和功耗等方面分析比较 ImageNet 历届冠军架构,为有效设计及应用深度神经网络提供了最新的分析资料。转载 2017-03-13 13:33:17 · 9985 阅读 · 0 评论 -
VGG:VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION译文
仅供参考,如有翻译不到位的地方敬请指出。论文地址:Very Deep Convolutional Networks for Large-Scale Image Recognition译文地址:http://blog.csdn.net/wspba/article/details/61625387翻译 2017-03-12 21:24:42 · 24261 阅读 · 3 评论 -
一种新的ResNet思路:Learning Identity Mapping with Residual Gates论文笔记
今天要介绍的叫做Gated ResNet,它来自一篇发表在今年ICLR上的论文,它没有之前提到的几个网络复杂,它对ResNet所提出的Identity Mapping进行了更加细致的思靠,它认为Identity Mapping才是ResNet包括Highway Network的精髓,并提出了对于一个深层网络,如果它具有退化成Identity Mapping的能力,那么它一定是容易优化、并且具有很好性能的。原创 2017-05-28 22:12:10 · 5475 阅读 · 0 评论 -
论文笔记:Residual Attention Network for Image Classification
深度学习中的Attention,源自于人脑的注意力机制,当人的大脑接受到外部信息,如视觉信息、听觉信息时,往往不会对全部信息进行处理和理解,而只会将注意力集中在部分显著或者感兴趣的信息上,这样有助于滤除不重要的信息,而提升信息处理的效率。原创 2017-06-25 21:58:34 · 36794 阅读 · 22 评论 -
Caffe深度学习进阶之Cifar-10分类任务(下)
Cifar-10数据集是深度学习领域一个常见的数据集。Cifar-10由60000张32*32的RGB彩色图片构成,一共包含有飞机、汽车、鸟、毛、鹿、狗、青蛙、马、船、卡车这10个类别。50000张训练,10000张测试。常被用来作为分类任务来评价深度学习框架和模型的优劣。原创 2017-06-17 19:51:10 · 3122 阅读 · 1 评论 -
Caffe深度学习进阶之Cifar-10分类任务(上)
Cifar-10数据集是深度学习领域一个常见的数据集。Cifar-10由60000张32*32的RGB彩色图片构成,一共包含有飞机、汽车、鸟、毛、鹿、狗、青蛙、马、船、卡车这10个类别。50000张训练,10000张测试。常被用来作为分类任务来评价深度学习框架和模型的优劣。原创 2017-06-16 22:06:31 · 8254 阅读 · 0 评论 -
论文笔记:ThiNet——一种filter级的模型裁剪算法
近两年来,有关模型压缩的论文越来越多,人们不再一昧的只追求强大的性能,而是开始慢慢的将模型的大小、运算量以及效率考虑进来,人们做的越来越多的是,在性能可接受的范围内,模型越小越好。这也说明了一点,深度学习模型已经开始被广泛的运用在了平常的生活当中,可以理解为现在的手机和以前的大哥大之间的关系。原创 2017-08-20 13:54:32 · 5657 阅读 · 3 评论 -
论文笔记:DeepRebirth——从非权重层入手来进行模型压缩
前言因为最近都在关注深度学习模型压缩相关的工作,所以今天给大家介绍的也是一篇关于模型压缩的方法。这是一篇非常有意思的工作,来自于三星研究院在ICLR2017上发表的论文:DeepRebirth: A General Approach for Accelerating Deep Neural Network Execution on Mobile Devices。原创 2017-07-25 20:34:35 · 3342 阅读 · 2 评论 -
深度学习模型压缩方法综述(三)
目前在深度学习领域分类两个派别,一派为学院派,研究强大、复杂的模型网络和实验方法,为了追求更高的性能;另一派为工程派,旨在将算法更稳定、高效的落地在硬件平台上,效率是其追求的目标。复杂的模型固然具有更好的性能,但是高额的存储空间、计算资源消耗是使其难以有效的应用在各硬件平台上的重要原因。原创 2017-07-24 22:43:37 · 29163 阅读 · 2 评论 -
深度学习模型压缩方法综述(一)
目前在深度学习领域分类两个派别,一派为学院派,研究强大、复杂的模型网络和实验方法,为了追求更高的性能;另一派为工程派,旨在将算法更稳定、高效的落地在硬件平台上,效率是其追求的目标。复杂的模型固然具有更好的性能,但是高额的存储空间、计算资源消耗是使其难以有效的应用在各硬件平台上的重要原因。原创 2017-07-21 21:17:13 · 55760 阅读 · 4 评论 -
深度学习模型压缩方法综述(二)
目前在深度学习领域分类两个派别,一派为学院派,研究强大、复杂的模型网络和实验方法,为了追求更高的性能;另一派为工程派,旨在将算法更稳定、高效的落地在硬件平台上,效率是其追求的目标。复杂的模型固然具有更好的性能,但是高额的存储空间、计算资源消耗是使其难以有效的应用在各硬件平台上的重要原因。原创 2017-07-21 22:42:48 · 26246 阅读 · 6 评论 -
分形网络结构——FractalNet: Ultra-Deep Neural Networks without Residuals论文笔记
出了一种新的分形网络结构,它的提出就是为了证明Residual对于极深网络并不是必须的,它通过一种分形的结构,达到了类似于教师-学生机制、深度监督的效果,同样取得了非常好的效果。虽然这种方法在目前来说用的比较少,但是我觉得它的这种思路是非常值得学习的。原创 2017-06-14 21:06:20 · 12383 阅读 · 1 评论 -
VGG:VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION论文笔记
VGG模型在ILSVRC2014上大放异彩,虽然从VGG的诞生到现在已经2年多,但是它依然是目前最热门的模型网络之一。它最大的贡献是,将深度学习从AlexNet的时代推入到deeper model的时代,第一次将模型深度提高到16层以上,并取得了很好的效果。原创 2017-03-12 12:04:33 · 4296 阅读 · 1 评论 -
Neural Style论文笔记+源码解析
引言前面在Ubuntu16.04+GTX1080配置TensorFlow并实现图像风格转换中介绍了TensorFlow的配置过程,以及运用TensorFlow实现图像风格转换,主要是使用了文章A Neural Algorithm of Artistic Style中的方法,今天,我将主要对这篇文章进行解读,并对基于TensorFlow版本的Neural Style开源代码进行解析。原创 2017-01-03 15:09:13 · 6978 阅读 · 1 评论 -
Generative Adversarial Nets论文笔记+代码解析
前面在Generative Adversarial Nets(译)一文中对2014年Ian J. Goodfellow这位大牛关于GAN的文章进行了全文的翻译,在翻译的过程中,遇到的不少的问题,也有一些自己的理解,在这里本人对这篇文章与大家进行交流,并对在TensorFlow上GAN的实现源码进行解析。论文地址:Generative Adversarial Networks源码地址原创 2017-01-17 18:34:52 · 27387 阅读 · 8 评论 -
GitHub 上 57 款最流行的开源深度学习项目
本文整理了 GitHub 上最流行的 57 款深度学习项目(按 stars 排名)。转载 2016-12-08 09:12:44 · 2504 阅读 · 0 评论 -
Linux环境下搭建DeepNet深度学习框架
由于实验室的项目需求,需要使用RBM(受限制玻尔兹曼机)、DBN(深信度网络)等深度学习的网络模型,于是学习和使用了Toronto大学提供的DeepNet深度学习框架。DeepNet是Toronto大学的Nitish Srivastava博士开发的一款利用Python实现基于GPU的一些深度学习算法的框架。以下将在Linux环境下搭建DeepNet深度学习框架的过程分享给大家。原创 2016-11-27 09:29:23 · 4160 阅读 · 11 评论 -
DeepNet深度学习框架的使用
上一章,我们介绍了在Linux环境下DeepNet框架的搭建,这一章,我们讲讲DeepNet的使用。以/deepnet-master/deepnet/examples中的rbm为例:cd到/deepnet-master/deepnet/examples/rbm目录中,看到有4个文件:eval.pbtxt,model.pbtxt,train.pbtxt以及runall.sh。tr原创 2016-11-27 17:29:22 · 5249 阅读 · 5 评论 -
DeepNet的基本框架和训练机制
DeepNet的基本框架包含三个部分,也就是它里头的三个文件夹:deepnet,cudamat和eigenmat。其中deepnet中包括了DeepNet的接口函数,cudamat和eigenmat分别包含了DeepNet的库函数。deepnetdeepnet文件夹中包含的是用Python实现的接口函数。主要有:trainer.py:训练网络时使用的就是这个接口函数,训练的原创 2016-11-28 20:20:51 · 2454 阅读 · 0 评论 -
预演:使用 TensorFlow 进行深度学习
深度学习:趋势如今,流行语已经覆盖全球。从近些年的发展来看,“社交媒体”“物联网”加上现在的“深度学习”,都是当今流行的趋势。转载 2016-12-02 09:11:44 · 955 阅读 · 0 评论 -
TensorFlow的基本用法
使用 TensorFlow, 你必须明白 TensorFlow:转载 2016-12-05 09:27:40 · 740 阅读 · 0 评论 -
深度学习框架Caffe源码解析
本文将从整体架构和底层实现的视角,对Caffe源码进行解析。转载 2016-12-12 21:58:49 · 3551 阅读 · 0 评论 -
Ubuntu16.04+GTX1080配置TensorFlow并实现图像风格转换
TensorFlow是谷歌基于DistBelief进行研发的第二代人工智能学习系统,表达了高层次的机器学习计算,大幅简化了第一代系统,并且具备更好的灵活性和可延展性。原创 2016-12-04 11:15:50 · 2988 阅读 · 2 评论 -
TensorFlow官方教程学习笔记(五)——前馈神经网络
本文主要是在TensorFlow上搭建一个前馈神经网络(feed-forward neural network)来对TensorFlow的运作方式进行简单介绍。代码在\examples\tutorials\mnist\中,主要使用两个文件:mnist.py和fully_connected_feed.py。原创 2017-01-19 00:34:38 · 6791 阅读 · 6 评论 -
Generative Adversarial Nets(译)
我们提出了一个通过对抗过程估计生成模型的新框架,在新框架中我们同时训练两个模型:一个用来捕获数据分布的生成模型G,和一个用来估计样本来自训练数据而不是G的概率的判别模型D,G的训练过程是最大化D产生错误的概率。翻译 2017-01-16 20:42:39 · 36326 阅读 · 13 评论 -
Conditional Generative Adversarial Nets论文笔记
我们希望得到一种条件型的生成对抗网络,通过给GAN中的G和D增加一些条件性的约束,来解决训练太自由的问题。原创 2017-01-22 17:22:55 · 25757 阅读 · 2 评论 -
DCGAN论文笔记+源码解析
DCGAN,Deep Convolutional Generative Adversarial Networks是生成对抗网络(Generative Adversarial Networks)的一种延伸,将卷积网络引入到生成式模型当中来做无监督的训练,利用卷积网络强大的特征提取能力来提高生成网络的学习效果。原创 2017-01-25 22:55:10 · 20967 阅读 · 21 评论 -
InfoGAN论文笔记+源码解析
GAN,Generative Adversarial Network是目前非常火也是非常有潜力的一个发展方向,原始的GAN模型存在着无约束、不可控、噪声信号z很难解释等问题,近年来,在原始GAN模型的基础上衍生出了很多种模型,如:条件——CGAN、卷积——DCGAN等等,在本博客的前几篇博文里均进行了大致的解读,本篇博文将提到的InfoGAN也是GAN的一种改进成果,甚至被OPENAI称为去年的五大突破之一。今天我们就来看看,InfoGAN到底做出了什么样的改进,能达到一个什么样的效果呢。原创 2017-02-01 17:24:45 · 31966 阅读 · 8 评论 -
ResNet论文笔记
ResNet——MSRA何凯明团队的Residual Networks,在2015年ImageNet上大放异彩,在ImageNet的classification、detection、localization以及COCO的detection和segmentation上均斩获了第一名的成绩,而且Deep Residual Learning for Image Recognition也获得了CVPR2016的best paper,实在是实至名归。就让我们来观摩大神的这篇上乘之作。原创 2017-02-20 21:15:31 · 94745 阅读 · 5 评论 -
解密ResNet:Identity Mappings in Deep Residual Networks论文笔记
在上一篇文章中,对MSRA何凯明团队的ResNet进行了介绍(地址),那篇文章中提到了,1202层的ResNet出现了过拟合的问题,有待进一步改进。原创 2017-03-06 11:54:00 · 21440 阅读 · 3 评论 -
Identity Mappings in Deep Residual Networks(译)
仅供参考,如有翻译不到位的地方敬请指出。论文地址:Identity Mappings in Deep Residual Networks译文地址:http://blog.csdn.net/wspba/article/details/60750007翻译 2017-03-07 11:36:54 · 22126 阅读 · 8 评论 -
Deep Residual Learning for Image Recognition(译)
仅供参考,如有翻译不到位的地方敬请指出。论文地址:Deep Residual Learning for Image Recognition译文地址:http://blog.csdn.net/wspba/article/details/57074389翻译 2017-02-25 11:41:29 · 72851 阅读 · 20 评论 -
TensorFlow官方教程学习笔记(三)——MNIST入门(续)
在上一篇文章中,我们使用了一个简单的SoftMax的回归模型对MNIST手写数字数据集进行训练,经过1000次的跌代后,识别精度达到了91%,但这是远远不够的。在本章中,我们使用一个稍微复杂的模型,其实也不是很复杂,一个含有两个卷积层的卷积神经网络,来测试它的识别效果。原创 2017-01-07 20:14:14 · 3179 阅读 · 0 评论