论文笔记
文章平均质量分 91
记录深度学习的学习历程
小时候贼聪明
算法工程师/人工智能爱好者
展开
-
论文笔记:ThiNet——一种filter级的模型裁剪算法
近两年来,有关模型压缩的论文越来越多,人们不再一昧的只追求强大的性能,而是开始慢慢的将模型的大小、运算量以及效率考虑进来,人们做的越来越多的是,在性能可接受的范围内,模型越小越好。这也说明了一点,深度学习模型已经开始被广泛的运用在了平常的生活当中,可以理解为现在的手机和以前的大哥大之间的关系。原创 2017-08-20 13:54:32 · 5657 阅读 · 3 评论 -
论文笔记:DeepRebirth——从非权重层入手来进行模型压缩
前言因为最近都在关注深度学习模型压缩相关的工作,所以今天给大家介绍的也是一篇关于模型压缩的方法。这是一篇非常有意思的工作,来自于三星研究院在ICLR2017上发表的论文:DeepRebirth: A General Approach for Accelerating Deep Neural Network Execution on Mobile Devices。原创 2017-07-25 20:34:35 · 3342 阅读 · 2 评论 -
论文笔记:Residual Attention Network for Image Classification
深度学习中的Attention,源自于人脑的注意力机制,当人的大脑接受到外部信息,如视觉信息、听觉信息时,往往不会对全部信息进行处理和理解,而只会将注意力集中在部分显著或者感兴趣的信息上,这样有助于滤除不重要的信息,而提升信息处理的效率。原创 2017-06-25 21:58:34 · 36794 阅读 · 22 评论 -
分形网络结构——FractalNet: Ultra-Deep Neural Networks without Residuals论文笔记
出了一种新的分形网络结构,它的提出就是为了证明Residual对于极深网络并不是必须的,它通过一种分形的结构,达到了类似于教师-学生机制、深度监督的效果,同样取得了非常好的效果。虽然这种方法在目前来说用的比较少,但是我觉得它的这种思路是非常值得学习的。原创 2017-06-14 21:06:20 · 12383 阅读 · 1 评论 -
一种新的ResNet思路:Learning Identity Mapping with Residual Gates论文笔记
今天要介绍的叫做Gated ResNet,它来自一篇发表在今年ICLR上的论文,它没有之前提到的几个网络复杂,它对ResNet所提出的Identity Mapping进行了更加细致的思靠,它认为Identity Mapping才是ResNet包括Highway Network的精髓,并提出了对于一个深层网络,如果它具有退化成Identity Mapping的能力,那么它一定是容易优化、并且具有很好性能的。原创 2017-05-28 22:12:10 · 5475 阅读 · 0 评论 -
WRNS:Wide Residual Networks 论文笔记
俗话说,高白瘦才是唯一的出路。但在深度学习界貌似并不是这样。Wide Residual Networks就要证明自己,矮胖的神经网络也是潜力股。原创 2017-05-15 22:30:26 · 19383 阅读 · 2 评论 -
GoogLeNet:Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning论文笔记
ResNet以及GoogLeNet在图像识别上都取得了非常优异都效果,并且都具有各自都风格和特点。如果将ResNet都Residual block和GoogLeNet都Inception block结合起来,是否可以生成一种结构更加复杂、性能更加强大的模型呢?原创 2017-04-02 17:43:32 · 4592 阅读 · 0 评论 -
GoogLeNet:Inception V3:Rethinking the Inception Architecture for Computer Vision论文笔记
俗话说得好,探索的道路是永无止境的,GoogLeNet经过了Inception V1、Inception V2(BN)的发展以后,Google的Szegedy等人又对其进行了更深层次的研究和拓展,在本文中,作者提出了当前环境下,网络设计的一些重要准则,并根据这些准则,对原有的GoogLeNet进行了改进,提出了一个更加复杂、性能更好的模型框架:Inception V3。原创 2017-03-29 16:10:09 · 11573 阅读 · 2 评论 -
Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift论文笔记
虽然GoogLeNet在ILSVRC2014上斩获了各种大奖,但是GooGle的各位大牛依然没有闲着,他们马上又抛出了一个新的问题:Internal Covariate Shift,也就是本文要研究的问题,他们提出了一个新的层:Batch Normalization(BN),不仅能够很好的解决这个问题,而且在增快训练速度的基础上能够有效的提高模型的性能。原创 2017-03-23 14:31:55 · 2768 阅读 · 0 评论 -
GoogLeNet Inception V1:Going deeper with convolutions论文笔记
在ILSVRC2014上最耀眼的除了VGG,那就非GoogLeNet莫属了,它与VGG类似的地方就是,关注于模型的深度,使模型倾向于deeper,与VGG不同的是,它的尝试更加新颖。从2014年至今,GoogLeNet经历了Inception v1到v4,以及Inception-ResNet的发展,也证明了Inception最初思想的潜力。今天我们就来看看GoogLeNet Inception V1的框架和效果。原创 2017-03-13 17:02:23 · 4554 阅读 · 1 评论 -
VGG:VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION译文
仅供参考,如有翻译不到位的地方敬请指出。论文地址:Very Deep Convolutional Networks for Large-Scale Image Recognition译文地址:http://blog.csdn.net/wspba/article/details/61625387翻译 2017-03-12 21:24:42 · 24261 阅读 · 3 评论 -
VGG:VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION论文笔记
VGG模型在ILSVRC2014上大放异彩,虽然从VGG的诞生到现在已经2年多,但是它依然是目前最热门的模型网络之一。它最大的贡献是,将深度学习从AlexNet的时代推入到deeper model的时代,第一次将模型深度提高到16层以上,并取得了很好的效果。原创 2017-03-12 12:04:33 · 4296 阅读 · 1 评论 -
Identity Mappings in Deep Residual Networks(译)
仅供参考,如有翻译不到位的地方敬请指出。论文地址:Identity Mappings in Deep Residual Networks译文地址:http://blog.csdn.net/wspba/article/details/60750007翻译 2017-03-07 11:36:54 · 22126 阅读 · 8 评论 -
解密ResNet:Identity Mappings in Deep Residual Networks论文笔记
在上一篇文章中,对MSRA何凯明团队的ResNet进行了介绍(地址),那篇文章中提到了,1202层的ResNet出现了过拟合的问题,有待进一步改进。原创 2017-03-06 11:54:00 · 21440 阅读 · 3 评论 -
ResNet论文笔记
ResNet——MSRA何凯明团队的Residual Networks,在2015年ImageNet上大放异彩,在ImageNet的classification、detection、localization以及COCO的detection和segmentation上均斩获了第一名的成绩,而且Deep Residual Learning for Image Recognition也获得了CVPR2016的best paper,实在是实至名归。就让我们来观摩大神的这篇上乘之作。原创 2017-02-20 21:15:31 · 94745 阅读 · 5 评论 -
Deep Residual Learning for Image Recognition(译)
仅供参考,如有翻译不到位的地方敬请指出。论文地址:Deep Residual Learning for Image Recognition译文地址:http://blog.csdn.net/wspba/article/details/57074389翻译 2017-02-25 11:41:29 · 72851 阅读 · 20 评论 -
Neural Style论文笔记+源码解析
引言前面在Ubuntu16.04+GTX1080配置TensorFlow并实现图像风格转换中介绍了TensorFlow的配置过程,以及运用TensorFlow实现图像风格转换,主要是使用了文章A Neural Algorithm of Artistic Style中的方法,今天,我将主要对这篇文章进行解读,并对基于TensorFlow版本的Neural Style开源代码进行解析。原创 2017-01-03 15:09:13 · 6978 阅读 · 1 评论 -
Generative Adversarial Nets(译)
我们提出了一个通过对抗过程估计生成模型的新框架,在新框架中我们同时训练两个模型:一个用来捕获数据分布的生成模型G,和一个用来估计样本来自训练数据而不是G的概率的判别模型D,G的训练过程是最大化D产生错误的概率。翻译 2017-01-16 20:42:39 · 36326 阅读 · 13 评论 -
Generative Adversarial Nets论文笔记+代码解析
前面在Generative Adversarial Nets(译)一文中对2014年Ian J. Goodfellow这位大牛关于GAN的文章进行了全文的翻译,在翻译的过程中,遇到的不少的问题,也有一些自己的理解,在这里本人对这篇文章与大家进行交流,并对在TensorFlow上GAN的实现源码进行解析。论文地址:Generative Adversarial Networks源码地址原创 2017-01-17 18:34:52 · 27387 阅读 · 8 评论 -
Conditional Generative Adversarial Nets论文笔记
我们希望得到一种条件型的生成对抗网络,通过给GAN中的G和D增加一些条件性的约束,来解决训练太自由的问题。原创 2017-01-22 17:22:55 · 25757 阅读 · 2 评论 -
DCGAN论文笔记+源码解析
DCGAN,Deep Convolutional Generative Adversarial Networks是生成对抗网络(Generative Adversarial Networks)的一种延伸,将卷积网络引入到生成式模型当中来做无监督的训练,利用卷积网络强大的特征提取能力来提高生成网络的学习效果。原创 2017-01-25 22:55:10 · 20967 阅读 · 21 评论 -
InfoGAN论文笔记+源码解析
GAN,Generative Adversarial Network是目前非常火也是非常有潜力的一个发展方向,原始的GAN模型存在着无约束、不可控、噪声信号z很难解释等问题,近年来,在原始GAN模型的基础上衍生出了很多种模型,如:条件——CGAN、卷积——DCGAN等等,在本博客的前几篇博文里均进行了大致的解读,本篇博文将提到的InfoGAN也是GAN的一种改进成果,甚至被OPENAI称为去年的五大突破之一。今天我们就来看看,InfoGAN到底做出了什么样的改进,能达到一个什么样的效果呢。原创 2017-02-01 17:24:45 · 31966 阅读 · 8 评论