![](https://img-blog.csdnimg.cn/20191118155933899.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
深度学习
文章平均质量分 95
Eason.wxd
我是Eason,我喂自己袋盐...
展开
-
系统学习深度学习(四十三)--GAN简单了解
转自:https://www.leiphone.com/news/201706/ty7H504cn7l6EVLd.html之前GAN网络是近两年深度学习领域的新秀,火的不行,本文旨在浅显理解传统GAN,分享学习心得。现有GAN网络大多数代码实现使用Python、torch等语言,这里,后面用matlab搭建一个简单的GAN网络,便于理解GAN原理。GAN的鼻祖之作是2014年NIPS...转载 2019-06-26 00:23:02 · 2021 阅读 · 1 评论 -
系统学习深度学习(三十)--Deep Q-Learning
转自:https://www.cnblogs.com/pinard/p/9714655.html1. 为何需要价值函数的近似表示 在之前讲到了强化学习求解方法,无论是动态规划DP,蒙特卡罗方法MC,还是时序差分TD,使用的状态都是离散的有限个状态集合S。此时问题的规模比较小,比较容易求解。但是假如我们遇到复杂的状态集合呢?甚至很多时候,状态是连续的,那么就算离散化后,集合也很大,此时...转载 2019-06-15 22:59:20 · 2729 阅读 · 2 评论 -
系统学习深度学习(二十九)--模型压缩
参考:https://blog.csdn.net/wspba/article/details/75671573若有不对,欢迎指正,先谢了目前,通常意义上的网络模型压缩,主流思路有两个方向,一个是设计更小的网络模型,这个侧重轻量级网络模型设计,如SqueezeNet,MobileNet,ShuffleNet等,可以根据实际精度要求,不断裁剪模型,调试优化。另外一种思路是网络模型结构不变,通过...原创 2018-08-14 13:10:03 · 14533 阅读 · 2 评论 -
系统学习深度学习(二十八)--DSD
论文:DSD: Dense-Sparse-Dense Training for Deep Neural Networks论文链接:https://arxiv.org/pdf/1607.04381.pdf模型下载地址:https://songhan.github.io/DSD.这是Song Han发在ICLR2017上的文章,我们知道Song Han的研究领域主要是模型压缩,模型加速等,但是...转载 2018-06-04 10:20:29 · 7523 阅读 · 0 评论 -
系统学习深度学习(八)--损失函数
转自:http://blog.csdn.net/google19890102/article/details/50522945 一、分类算法中的损失函数在分类算法中,损失函数通常可以表示成损失项和正则项的和,即有如下的形式:其中,L为损失项,R为正则项。mi的具体形式如下:对于损失项,主要的形式有:0-1损失 Log损失 Hinge损失 指数损失 感知损失...转载 2017-02-21 09:41:10 · 25332 阅读 · 2 评论 -
Torch7框架学习资料整理
以下,主要是自己在学习Torch7时的一些记录和体会,不喜勿喷,指出错误更加感激。1.Torch7 老版本,主要是基于Lua5.1接口提供,看框架之前最好先看看Lua。2.第一份:转自:http://blog.csdn.net/u010946556/article/details/51329208,有些地方,我没跑出来,暂不着急。后期补充。原创 2017-02-15 15:21:23 · 6559 阅读 · 0 评论 -
ubuntu14.04+cuda8.0+cudnn5.1+torch7配置整理
实际上教程网上有很多,这里说下自己遇到的几个坑。很少有人提到(包括torch7官方)CUDA与torch的安装顺序,我这里测试发现先安装torch再cuda,总是各种问题,所以,先cuda,cudnn,再torch,一路顺利。这应该跟opencv与cuda关系类似。跟torch相关的CUDA实现,要重新编译,因此,先CUDA比较保险。另外就是网络要好,否则经常断!感谢同事提供的VPN。。...转载 2017-02-14 15:40:26 · 9369 阅读 · 4 评论 -
系统学习深度学习(二十七)--CTC
论文:Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural NetworksOffline Arabic Handwriting Recognition with Multidimensional Neural NetworksSupervis...转载 2017-08-08 11:15:30 · 11749 阅读 · 0 评论 -
系统学习深度学习(二十六)--BiRNN
转自:http://blog.csdn.net/jojozhangju/article/details/519822541. Recurrent Neural Network (RNN)尽管从多层感知器(MLP)到循环神经网络(RNN)的扩展看起来微不足道,但是这对于序列的学习具有深远的意义。循环神经网络(RNN)的使用是用来处理序列数据的。在传统的神经网络中模型中,层与层之间是全连...转载 2017-08-07 14:32:26 · 26117 阅读 · 2 评论 -
系统学习深度学习(九)--激活函数总结
https://zhuanlan.zhihu.com/p/22142013这个文章,写的接地气,强烈推荐。http://www.cnblogs.com/rgvb178/p/6055213.html类似,但也值得一看。转自:http://blog.csdn.net/losteng/article/details/50833861激活函数是用来加入非线性因素的,因为线性模型的表达能力不够。常用激活函数...转载 2017-02-21 10:35:13 · 17392 阅读 · 0 评论 -
系统学习深度学习(三十二)--Double DQN (DDQN)
转自:https://www.cnblogs.com/pinard/p/9778063.html1. DQN的目标Q值计算问题 在DDQN之前,基本上所有的目标Q值都是通过贪婪法直接得到的,无论是Q-Learning, DQN(NIPS 2013)还是 Nature DQN,都是如此。比如对于Nature DQN,虽然用了两个Q网络并使用目标Q网络计算Q值,其第j个样本的目标Q值的计...转载 2019-06-16 13:44:56 · 4255 阅读 · 0 评论 -
系统学习深度学习(三十三)--Prioritized Replay DQN
转自:https://www.cnblogs.com/pinard/p/9797695.html1.Prioritized Replay DQN之前算法的问题 在Prioritized Replay DQN之前,我们已经讨论了很多种DQN,比如Nature DQN, DDQN等,他们都是通过经验回放来采样,进而做目标Q值的计算的。在采样的时候,我们是一视同仁,在经验回放池里面的所有...转载 2019-06-16 13:57:46 · 2533 阅读 · 0 评论 -
系统学习深度学习(三十四)--Dueling DQN
转自:https://www.cnblogs.com/pinard/p/9923859.html1.Dueling DQN的优化点考虑 在前面讲到的DDQN中,我们通过优化目标Q值的计算来优化算法,在Prioritized Replay DQN中,我们通过优化经验回放池按权重采样来优化算法。而在Dueling DQN中,我们尝试通过优化神经网络的结构来优化算法。 具体如何...转载 2019-06-16 17:59:12 · 2241 阅读 · 0 评论 -
系统学习深度学习(四十二)--从AE到VAE
转自:https://www.atyun.com/17976.htmlAE自编码器是一种无监督学习技术,利用神经网络进行表征学习。也就是说,我们设计一个在网络中施加“瓶颈”,迫使原始输入压缩知识表示的神经网络架构。如果输入特征彼此独立,则该压缩和随后的重构将是非常困难的任务。但是,如果数据中存在某种结构(即输入特征之间存在相关性),则可以学习这种结构,并在强制输入通过网络的瓶颈时使用。...转载 2019-06-25 15:23:06 · 4149 阅读 · 0 评论 -
系统学习深度学习(四十一)--AlphaGo Zero强化学习原理
转自:https://www.cnblogs.com/pinard/p/10609228.html本篇主要参考了AlphaGo Zero的论文,AlphaGo Zero综述和AlphaGo Zero Cheat Sheet。1.AlphaGo Zero模型基础 AlphaGo Zero不需要学习人类的棋谱,通过自我对弈完成棋力提高。主要使用了两个模型,第一个就是我们上一节介绍...转载 2019-06-16 21:00:21 · 2096 阅读 · 1 评论 -
系统学习深度学习(四十)--基于模拟的搜索与蒙特卡罗树搜索(MCTS)
转自:https://www.cnblogs.com/pinard/p/10470571.html1.基于模拟的搜索概述 什么是基于模拟的搜索呢?当然主要是两个点:一个是模拟,一个是搜索。模拟我们在上一篇也讨论过,就是基于强化学习模型进行采样,得到样本数据。但是这是数据不是基于和环境交互获得的真实数据,所以是“模拟”。对于搜索,则是为了利用模拟的样本结果来帮我们计算到底应该采用什么...转载 2019-06-16 20:58:22 · 2101 阅读 · 0 评论 -
系统学习深度学习(三十九)--基于模型的强化学习与Dyna算法框架
转自:https://www.cnblogs.com/pinard/p/10384424.html在前面我们讨论了基于价值的强化学习(Value Based RL)和基于策略的强化学习模型(Policy Based RL),本篇我们讨论最后一种强化学习流派,基于模型的强化学习(Model Based RL),以及基于模型的强化学习算法框架Dyna。1.基于模型的强化学习简介 ...转载 2019-06-16 20:11:15 · 2777 阅读 · 4 评论 -
系统学习深度学习(三十八)--深度确定性策略梯度(DDPG)
转自:https://www.cnblogs.com/pinard/p/10345762.html1. 从随机策略到确定性策略 从DDPG这个名字看,它是由D(Deep)+D(Deterministic)+ PG(Policy Gradient)组成。PG(Policy Gradient)我们在系统学习深度学习(三十五)--策略梯度(Policy Gradient)里已经讨论过。那...转载 2019-06-16 19:34:33 · 5100 阅读 · 0 评论 -
系统学习深度学习(三十七)--A3C
转自:https://www.cnblogs.com/pinard/p/10334127.html1. A3C的引入 上一篇Actor-Critic算法的代码,其实很难收敛,无论怎么调参,最后的CartPole都很难稳定在200分,这是Actor-Critic算法的问题。但是我们还是有办法去有优化这个难以收敛的问题的。 回忆下之前的DQN算法,为了方便收敛使用了经验回放的技...转载 2019-06-16 19:31:29 · 2024 阅读 · 0 评论 -
系统学习深度学习(三十一)--Nature DQN(NIPS 2015)
转自:https://www.cnblogs.com/pinard/p/9756075.html1. DQN(NIPS 2013)的问题 在上一篇我们已经讨论了DQN(NIPS 2013)的算法原理和代码实现,虽然它可以训练像CartPole这样的简单游戏,但是有很多问题。这里我们先讨论第一个问题。 注意到DQN(NIPS 2013)里面,我们使用的目标Q值的计算方式:...转载 2019-06-16 13:37:46 · 3200 阅读 · 0 评论 -
系统学习深度学习(三十六)--Actor-Critic
转自:https://www.cnblogs.com/pinard/p/10272023.html1.Actor-Critic算法简介 Actor-Critic从名字上看包括两部分,演员(Actor)和评价者(Critic)。其中Actor使用我们上一节讲到的策略函数,负责生成动作(Action)并和环境交互。而Critic使用我们之前讲到了的价值函数,负责评估Actor的表现,并...转载 2019-06-16 18:23:55 · 3055 阅读 · 0 评论 -
系统学习深度学习(三十五)--策略梯度(Policy Gradient)
转自:https://www.cnblogs.com/pinard/p/10137696.html在前面讲到的DQN系列强化学习算法中,我们主要对价值函数进行了近似表示,基于价值来学习。这种Value Based强化学习方法在很多领域都得到比较好的应用,但是Value Based强化学习方法也有很多局限性,因此在另一些场景下我们需要其他的方法,比如本篇讨论的策略梯度(Policy Gradie...转载 2019-06-16 18:07:12 · 3504 阅读 · 0 评论 -
系统学习深度学习(二十)--ResNet,DenseNet,以及残差家族
转自:http://blog.csdn.net/cv_family_z/article/details/50328175CVPR2016https://github.com/KaimingHe/deep-residual-networks这是微软方面的最新研究成果, 在第六届ImageNet年度图像识别测试中,微软研究院的计算机图像识别系统在几个类别的测试中获得第一名。本文是解决超深度...原创 2017-03-15 13:19:15 · 26340 阅读 · 0 评论 -
系统学习深度学习(二十一)--GoogLeNetV4与Inception-ResNet V1,V2
转载自: http://www.jianshu.com/p/329d2c0cfca9[v4] Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning,top5 error 3.08% 上面那篇论文,主要贡献如下:1、在Inception v3的基础上发明了Inception...原创 2017-03-16 15:01:38 · 19379 阅读 · 0 评论 -
系统学习深度学习(十九)--GoogLeNetV1,V2,V3
转自:http://blog.csdn.net/shuzfan/article/details/50738394参考:http://www.jianshu.com/p/33197e469414同时做了一些补充。本文介绍的是著名的网络结构GoogLeNet及其延伸版本,目的是试图领会其中的思想而不是单纯关注结构。GoogLeNet Incepetion V1这是GoogLeNet...原创 2017-03-15 10:46:59 · 23462 阅读 · 0 评论 -
系统学习深度学习(二十二)--CNN经典模型总结
转自:http://www.open-open.com/lib/view/open1473213789568.html参考:http://blog.csdn.net/qq_17754181/article/details/59111864?locationNum=14&fps=1略有删改。LeNet5LeNet5 诞生于 1994 年,是最早的卷积神经网络之一,并且推动了深...原创 2017-03-17 13:08:33 · 30153 阅读 · 4 评论 -
系统学习深度学习(十五)--AlexNet译文
转自:http://www.aichengxu.com/other/2557713.htmhttp://blog.csdn.net/maweifei/article/details/53117830本深度学习网络是Alex和Hinton参加ILSVRC2012比赛的卷积网络论文,本网络结构也是开启ImageNet数据集更大,更深CNN的开山之作,本文对CNN的一些改进成为以后CNN网络转载 2017-03-02 10:17:31 · 8679 阅读 · 0 评论 -
系统学习深度学习(七)--主流深度学习开源框架对比
转自:http://blog.csdn.net/u010167269/article/details/51810613,本文做了相关修改。参考论文:《Comparative Study of Deep Learning Software Frameworks》,这篇文章对现在流行的五个开源深度学习框架caffe、Neon、TensorFlow、Theano、Torch 做了比较,很严谨。作转载 2017-01-23 11:05:47 · 12169 阅读 · 0 评论 -
系统学习深度学习(四) --CNN原理,推导及实现源码分析
之前看机器学习中,多层感知器部分,提到可以在设计多层感知器时,对NN的结构设计优化,例如结构化设计和权重共享,当时还没了解深度学习,现在看到CNN,原来CNN就是这方面的一个代表。CNN由纽约大学的Yann LeCun于1998年提出。CNN本质上是一个多层感知机,其成功的原因关键在于它所采用的局部连接和共享权值的方式,一方面减少了的权值的数量使得网络易于优化,另一方面降低了过拟合的风险。下面...原创 2017-01-12 09:10:44 · 49103 阅读 · 1 评论 -
系统学习深度学习(三) --RBM及DBN
转自:http://blog.csdn.net/yt7589/article/details/52487505另外,有一篇文章《RBM原理理解》写的很详细,每个过程都有详细推导,也就通俗化的理解。我这里也有做根据文章对博文做了相关补充。我们目前的讨论的神经网络,虽然学习算法不同,但基本上架构还是相同的,就是都是分层网络,即神经元按层进行组织,层内神经元无连接,层间神经元间有连接。我们在这篇...原创 2017-01-10 13:41:40 · 33772 阅读 · 6 评论 -
系统学习深度学习(二) --自编码器,DA算法,SDA,稀疏自编码器
转自:http://blog.csdn.net/zouxy09/article/details/87755249.1、AutoEncoder自动编码器 Deep Learning最简单的一种方法是利用人工神经网络的特点,人工神经网络(ANN)本身就是具有层次结构的系统,如果给定一个神经网络,我们假设其输出与输入是相同的,然后训练调整其参数,得到每一层中的权重。自然地,我们就得转载 2017-01-10 13:21:56 · 14492 阅读 · 0 评论 -
系统学习深度学习(六) --LSTM总结
转自:http://blog.csdn.net/shincling/article/details/493621611. 概念:Long short-termmemory (LSTM)is a recurrent neuralnetwork (RNN)architecture (an artificialneural network)published[1] in 1997 b转载 2017-01-14 09:56:57 · 19903 阅读 · 1 评论 -
系统学习深度学习(一) --深度学习与神经网络关系
参考:http://blog.csdn.net/zouxy09/article/details/8775518最近开始学习深度学习,基本上都是zouxy09博主的文章,写的蛮好,很全面,也会根据自己的思路,做下删减,细化。Deep Learning的基本思想 假设我们有一个系统S,它有n层(S1,…Sn),它的输入是I,输出是O,形象地表示为: I =>S1=>...原创 2017-01-10 11:14:39 · 50952 阅读 · 8 评论 -
系统学习深度学习(十)--优化算法
http://blog.csdn.net/chenzhi1992/article/details/52850759 类似,也值得一看http://blog.csdn.net/shenxiaolu1984/article/details/52511202转自:http://blog.csdn.net/majinlei121/article/details/47260917那篇优化算法论文On opt...转载 2017-02-21 13:03:33 · 12167 阅读 · 0 评论 -
系统学习深度学习(十一)--dropout,dropconect
原文:http://blog.csdn.net/u012702874/article/details/45030991dropout layer的目的是为了防止CNN 过拟合。那么为什么可以有效的防止过拟合呢?首先,想象我们现在只训练一个特定的网络,当迭代次数增多的时候,可能出现网络对训练集拟合的很好(在训练集上loss很小),但是对验证集的拟合程度很差的情况。所以,我们有了这转载 2017-02-25 11:40:31 · 9547 阅读 · 1 评论 -
系统学习深度学习(十二)--池化
转自:http://blog.csdn.net/danieljianfeng/article/details/42433475在卷积神经网络中,我们经常会碰到池化操作,而池化层往往在卷积层后面,通过池化来降低卷积层输出的特征向量,同时改善结果(不易出现过拟合)。为什么可以通过降低维度呢?因为图像具有一种“静态性”的属性,这也就意味着在一个图像区域有用的特征极有可能在另一个区域同样适转载 2017-02-25 11:49:19 · 16698 阅读 · 0 评论 -
系统学习深度学习(十四)--权重初始化Xavier
“Xavier”初始化方法是一种很有效的神经网络初始化方法,方法来源于2010年的一篇论文《Understanding the difficulty of training deep feedforward neural networks》,可惜直到近两年,这个方法才逐渐得到更多人的应用和认可。为了使得网络中信息更好的流动,每一层输出的方差应该尽量相等。基于这个目标,现在我们就去推导一下:转载 2017-02-27 09:55:20 · 14843 阅读 · 2 评论 -
系统学习深度学习(十八)--NIN模型
转自:http://blog.csdn.net/mounty_fsc/article/details/51746111《Network in Network》论文笔记1.综述这篇文章有两个很重要的观点:1×1卷积的使用 文中提出使用mlpconv网络层替代传统的convolution层。mlp层实际上是卷积加传统的mlp(多层感知器),因为convolution是线转载 2017-03-14 13:00:39 · 11870 阅读 · 1 评论 -
系统学习深度学习(二十五)--CNN调优总结
1.针对CNN优化的总结:Systematic evaluation of CNN advances on the ImageNet使用没有 batchnorm 的 ELU 非线性或者有 batchnorm 的 ReLU。用类似1*1的网络结构预训练RGB数据,能得到更好的效果。使用线性学习率衰退策略。使用平均和最大池化层的和。使用大约 128(0.005) 到 256 (0.转载 2017-03-21 11:30:19 · 16906 阅读 · 1 评论 -
系统学习深度学习(二十四)--WRN
Abstract网络不断向更深发展,但是有时候为了得到少量的accuracy的增加,却需要将网络层数翻倍,也会减少feature的reuse,降低训练速度。作者提出了wide residual network,16层的表现就比之前的ResNet效果要好。1 IntroductionResNets因为过深,很多residual block只能提供少量的信息,或者只有少量的block能学到重要的信息。...转载 2017-03-20 14:50:53 · 7629 阅读 · 0 评论