深度学习
文章平均质量分 92
antkillerfarm
这个作者很懒,什么都没留下…
展开
-
深度学习(四十七)——Flow-based Model, Diffusion Model, Autoregressive Model
Flow-based Model, Diffusion Model, Autoregressive Model原创 2023-02-06 09:53:22 · 2473 阅读 · 1 评论 -
深度学习(四十六)——StarGAN, InfoGAN, ProGAN, StyleGAN, BigGAN, FUNIT, CVAE
StarGAN论文:《StarGAN: Unified Generative Adversarial Networksfor Multi-Domain Image-to-Image Translation》CycleGAN的局限在于:对于两个Domain之间的变换,需要两个G网络。可以想象,当Domain的数量上升时,所需G网络的个数将呈指数级增长。如上图左半部分所示。StarGAN给出的办法是:所有的Domain共享一个G网络。如上图右半部分所示。具体的操作如下图所示:1.D网络除了常规的原创 2020-06-29 09:58:06 · 4496 阅读 · 0 评论 -
深度学习(四十五)——Stack GAN, GAN Ensemble, Pix2Pix, CycleGAN
Stack GAN论文:《StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks》早期以DCGAN为代表的网络生成的图片分辨率太低,质量不够好,都不超过100×100,在32×32或者64×64左右。这是因为难以一次性学习到生成高分辨率的样本,收敛过程容易不稳定。因此采用级联结构,逐次提升分辨率的Stack GAN应运而生。上图是Stack GAN的网络结构图。其中原创 2020-05-25 09:59:48 · 1834 阅读 · 0 评论 -
深度学习(四十四)——GAN的评估指标, DCGAN, WGAN-GP, CGAN, BEGAN & EBGAN
GAN的评估指标尽管可用的GAN模型非常多,但对它们的评估仍然主要是定性评估,通常需要借助人工检验生成图像的视觉保真度来进行。此类评估非常耗时,且主观性较强、具备一定误导性。鉴于定性评估的内在缺陷,恰当的定量评估指标对于GAN的发展和更好模型的设计至关重要。论文:《An empirical study on evaluation metrics of generative adversarial networks》这篇论文是GAN评估指标方面的综述文章。上图是该文给出的各种常见评估指标的体系结构原创 2020-05-18 10:13:30 · 4639 阅读 · 0 评论 -
深度学习(四十三)——深度强化学习(6)AlphaGo全系列
AlphaGo全系列AlphaGo算是这波AI浪潮的里程碑事件了。如果说AlexNet让学术界重新认识了DL的话,AlphaGo则让大众都认识到了DL的威力。我也是在AlphaGo的感召之下,投身ML/DL领域的(2016.7)。因此,了解AlphaGo的原理,就成为了我一直以来的目标。岂料直到三年多之后(2019.11),我才能真正看懂AlphaGo。历史我对人工智能的认识,始于1997年...原创 2020-03-16 11:12:40 · 4183 阅读 · 0 评论 -
深度学习(四十二)——深度强化学习(5)PPO, IMPALA, Hierarchical RL, OpenAI
PPO(Proximal Policy Optimization)PPO是2017年由OpenAI提出的一种基于随机策略的DRL算法,也是当前OpenAI的默认算法。PPO是一种Actor-Critic算法。它的主要改进在它的Actor部分。我们知道,Policy Gradient算法的训练过程中,始终存在着new Policy和old Policy这样一对矛盾。一方面,我们需要new P...原创 2020-03-09 10:16:01 · 4301 阅读 · 0 评论 -
深度学习(四十一)——深度强化学习(4)A2C & A3C, DDPG
A2C & A3CActor-Critic一般简称AC算法。针对它的一般用法参见《机器学习(三十五)》。AC算法也可用于DRL领域,具体的做法和DQN类似:一个Actor网络,用来近似V值。一个Critic网络,用来近似Q值。这里有个小技巧:Actor网络和Critic网络可以共享网络参数,两者仅最后几层使用不同结构和参数。(参见下图A3C的图)针对AC的改进,衍...原创 2020-03-02 10:29:40 · 9367 阅读 · 0 评论 -
深度学习(四十)——深度强化学习(3)Deep Q-learning Network(2), DQN进化史
Deep Q-learning Network(续)Nature DQNDQN最早发表于NIPS 2013,该版本的DQN,也被称为NIPS DQN。NIPS DQN除了提出DQN的基本概念之外,还使用了《机器学习(三十三)》中提到的Experience Replay技术。2015年初,Deepmind在Nature上提出了改进版本,是为Nature DQN。它改进了Loss函数:L=(r...原创 2020-02-24 11:12:25 · 1980 阅读 · 1 评论 -
深度学习(三十九)——深度强化学习(2)概述, Deep Q-learning Network(1)
概述上图是深度强化学习的脉络图,参考文献中还有该领域的关键论文列表。原图地址:http://louiskirsch.com/maps/reinforcement-learning参考:https://mp.weixin.qq.com/s/781fVvKr4yuq4q2GI1Y1gA从Zero到Hero,OpenAI重磅发布深度强化学习资源https://spinningup.o...原创 2020-02-10 16:22:35 · 726 阅读 · 0 评论 -
深度学习(三十)——Deep Speech, 自动求导
CTC推断计算(续)上图是一个Beam Width为3的Beam Search。Beam Search的细节可参见《机器学习(二十三)》。由于语音的特殊性,我们实际上用的是Beam Search的一个变种:如上图所示,所有在合并规则下,能够合并为同一前缀的分支,在后续计算中,都被认为是同一分支。其概率值为各被合并分支的概率和。此外,如果在语音识别中,能够结合语言模型的话,将可以极大的...原创 2018-11-26 09:41:57 · 2526 阅读 · 0 评论 -
深度学习(二十九)——Normalization进阶, CTC
Normalization进阶和Batch Normalization类似的概念还有Weight Normalization和Layer Normalization。Batch Normalization从上图可以看出,BN是对input tensor的每个通道进行mini-batch级别的Normalization。而LN则是对所有通道的input tensor进行Normalizati...原创 2018-11-05 11:11:25 · 1373 阅读 · 4 评论 -
深度学习(二十七)——RBM & DBN & Deep Autoencoder
VAE(续)正态分布?对于p(Z∣X)p(Z∣X)p(Z\mid X)的分布,是不是必须选择正态分布?可以选择均匀分布吗?正态分布有两组独立的参数:均值和方差,而均匀分布只有一组。前面我们说,在VAE中,重构跟噪声是相互对抗的,重构误差跟噪声强度是两个相互对抗的指标,而在改变噪声强度时原则上需要有保持均值不变的能力,不然我们很难确定重构误差增大了,究竟是均值变化了(encoder的...原创 2018-06-19 09:29:47 · 1989 阅读 · 1 评论 -
深度学习(二十六)——VAE
https://antkillerfarm.github.io/VAE变分自编码器(Variational Auto-Encoder,VAE)是Autoencoder的一种扩展。论文:《Auto-Encoding Variational Bayes》以下部分主要摘自:https://kexue.fm/archives/5253变分自编码器(一):原来是这么一回事...原创 2018-06-11 10:50:59 · 14016 阅读 · 7 评论 -
深度学习(三十五)——Style Transfer(2), YOLOv3, Tiny-YOLO, One-stage vs. Two-stage
Style TransferTexture Networks: Feed-forward Synthesis of Textures and Stylized Images这篇论文属于fast style transfer类的改进。它是Skolkovo Institute of Science and Technology & Yandex的Dmitry Ulyanov的作品。Dmi...原创 2019-06-03 10:28:24 · 1057 阅读 · 0 评论 -
深度学习(二十八)——SOM, Group Normalization, MobileNet, 花式卷积进阶
RBM & DBN & Deep Autoencoder(续)DBNRBM不仅可以单独使用,也可以堆叠起来形成Deep Belief Nets(DBNs),其中每个RBM层都与其前后的层进行通信。单个层中的节点之间不会横向通信。深度置信网络可以直接用于处理无监督学习中的未标记数据聚类问题,也可以在RBM层的堆叠结构最后加上一个Softmax层来构成分类器。除了第...原创 2018-06-25 09:36:12 · 2841 阅读 · 1 评论 -
深度学习(三十一)——Style Transfer
Style Transfer上图是Style Transfer问题的效果图:将图片B的风格迁移到另一张图片A上。上图是图像风格迁移所涉及的科技树。在继续讨论之前,我们有必要指出Style Transfer和其他传统的有监督学习的CV问题之间的差异。1.风格这种抽象的概念,该如何定义?艺术领域的很多东西,通常都是很难量化的。如果要采用有监督学习的方法的话,怎么获得学习的标签呢?2.就算...原创 2019-02-18 15:29:00 · 3608 阅读 · 0 评论 -
深度学习(三十二)——AlphaGo, AlphaStar
AlphaGo樊麾讲解AlphaGo与李世石的五番棋:https://deepmind.com/research/alphago/alphago-games-simplified-chinese/论文:《Mastering the game of Go with deep neural networks and tree search》DarkForestDarkForest是田渊栋2...原创 2019-02-25 10:21:42 · 3612 阅读 · 0 评论 -
深度学习(三十三)——GAN参考资源
GAN参考资源https://blog.csdn.net/liuxiao214/article/category/6940697某GAN专栏https://mp.weixin.qq.com/s/oCDlhzjOYTIhsr5JuoRCJQIRGAN:大一统信息检索模型的博弈竞争https://mp.weixin.qq.com/s/4Daw-2aRmzcCMtxdvB3uYQIRGAN ...原创 2019-03-18 09:14:36 · 1450 阅读 · 0 评论 -
深度学习(三十四)——深度推荐系统
深度推荐系统推荐系统一直是AI能够落地且商业前景很好的一个研究方向。自2016年以来,该方向也逐渐被DL所侵蚀,尽管目前从招聘来说,这方面的职位仍以普通ML为主。2017年5月,我曾面试了一家电商企业。当时给我的感觉,虽然里面的工程师较早接触ML,然而知识老化现象比较严重,对最基本的神经网络知识缺乏必要的了解。这显然给了后来者一个弯道超车的好机会。教程https://mp.weixin.q...原创 2019-04-08 09:25:17 · 1005 阅读 · 0 评论 -
深度学习(三十六)——R-FCN, FPN, RetinaNet, CornerNet
R-FCNR-FCN是何恺明/孙剑小组的Jifeng Dai于2016年提出的。论文:《R-FCN: Object Detection via Region-based Fully Convolutional Networks》代码:https://github.com/PureDiors/pytorch_RFCNfaster R-CNN对卷积层做了共享(RPN和Fast R-CNN)...原创 2019-07-15 09:47:41 · 1330 阅读 · 0 评论 -
深度学习(三十七)——CenterNet, Anchor-Free, NN Quantization
CenterNetCenterNet是中科院、牛津、Huawei Noah’s Ark Lab的一个联合团队的作品。(2019.4)论文:《CenterNet: Keypoint Triplets for Object Detection》上图是CenterNet的网络结构图。正如之前提到的,框对于物体来说不是一个最好的表示。同理,Corner也不是什么特别好的表示:绝大多数情况下,C...原创 2019-07-29 09:35:36 · 2073 阅读 · 1 评论 -
深度学习(三十八)——深度强化学习(1)教程
教程http://incompleteideas.net/sutton/book/the-book-2nd.html《Reinforcement Learning: An Introduction》,Richard S. Sutton和Andrew G. Barto著。注:Richard S. Sutton,加拿大计算机科学家,麻省大学阿姆赫斯特分校博士(1984年),阿尔伯塔大学教授。强...原创 2019-09-02 16:08:49 · 1231 阅读 · 0 评论 -
深度学习(八)——fine-tuning, 李飞飞
深度学习(八)——fine-tuning, 李飞飞原创 2017-09-18 09:24:07 · 6584 阅读 · 2 评论 -
深度学习(二十五)——Attention(2)
Attention(续)Multi-Head Attention这个是Google提出的新概念,是Attention机制的完善。不过从形式上看,它其实就再简单不过了,就是把Q,K,V通过参数矩阵映射一下,然后再做Attention,把这个过程重复做h次,结果拼接起来就行了,可谓“大道至简”了。具体来说:headi=Attention(QWQi,KWKi,VWVi)headi=A...原创 2018-06-04 10:10:57 · 1384 阅读 · 0 评论 -
深度学习(二十四)——L2 Normalization, Attention(1)
L2 NormalizationL2 Normalization本身并不复杂,然而多数资料都只提到1维的L2 Normalization的计算公式:x=[x1,x2,…,xd]y=[y1,y2,…,yd]y=x∑di=1x2i‾‾‾‾‾‾‾√=xxTx‾‾‾‾√x=[x1,x2,…,xd]y=[y1,y2,…,yd]y=x∑i=1dxi2=xxTxx=[x_1,x_2,\dots,x_...原创 2018-05-28 09:40:31 · 23949 阅读 · 3 评论 -
深度学习(二十三)——Fast Image Processing, SVDF, LCNN, LSTM进阶
https://antkillerfarm.github.io/Fast Image Processing(续)这个课题一般使用MIT-Adobe FiveK Dataset作为基准数据集。网址:http://groups.csail.mit.edu/graphics/fivek_dataset/这个数据集包含了5K张原始照片,并雇用了5个专业修图师,对每张图片进行修图。众所周...原创 2018-04-23 09:36:33 · 4667 阅读 · 0 评论 -
深度学习(十)——花式卷积(2)
深度学习(十)——花式卷积(二)原创 2017-12-04 09:28:42 · 3014 阅读 · 0 评论 -
深度学习(十一)——Winograd(1)
深度学习(十一)——Winograd(1)原创 2017-12-11 09:41:16 · 22447 阅读 · 0 评论 -
深度学习(九)——花式卷积
深度学习(九)——花式卷积原创 2017-11-06 09:28:22 · 3349 阅读 · 0 评论 -
深度学习(七)—— GAN
深度学习(七)—— GAN原创 2017-09-11 09:29:34 · 1207 阅读 · 0 评论 -
深度学习(五)——DRN, Bi-directional RNN, Attention, seq2seq, DMN
深度学习(五)——DRN, Bi-directional RNN, Attention, seq2seq, DMN原创 2017-08-28 09:29:25 · 2673 阅读 · 0 评论 -
深度学习(六)——CNN进化史
深度学习(六)——CNN进化史原创 2017-09-04 10:28:43 · 4899 阅读 · 0 评论 -
深度学习(四)——RNN, LSTM, 神经元激活函数进阶
深度学习(四)——RNN, LSTM, 神经元激活函数进阶原创 2017-08-21 09:52:58 · 15438 阅读 · 0 评论 -
深度学习(三)——Autoencoder, 词向量
深度学习(三)——Autoencoder, 词向量原创 2017-08-14 09:34:56 · 7043 阅读 · 2 评论 -
深度学习(二)——深度学习常用术语解释, Neural Network Zoo, CNN, Autoencoder
深度学习(二)——深度学习常用术语解释, Neural Network Zoo, CNN, Autoencoder原创 2017-07-10 10:46:43 · 15253 阅读 · 0 评论 -
深度学习(十三)——花式池化, Batch Normalization
深度学习(十三)——花式池化, Batch Normalization原创 2018-01-02 10:20:37 · 2495 阅读 · 0 评论 -
深度学习(十五)——SPPNet, Fast R-CNN
深度学习(十五)——SPPNet, Fast R-CNN原创 2018-01-15 09:43:05 · 941 阅读 · 0 评论 -
深度学习(二十二)——ESPCN, FSRCNN, VESPCN, SRGAN, DemosaicNet, MemNet, RDN, ShuffleSeg
https://antkillerfarm.github.io/ESPCNESPCN(efficient sub-pixel convolutional neural network)是创业公司Magic Pony Technology的Wenzhe Shi和Jose Caballero作品。该创业团队主要来自Imperial College London,目前已被Twitter收购。...原创 2018-04-16 09:21:40 · 14286 阅读 · 2 评论 -
深度学习(二十)——Ultra Deep Network, 图像超分辨率算法
http://antkillerfarm.github.io/Ultra Deep NetworkFractalNet论文:《FractalNet: Ultra-Deep Neural Networks without Residuals》Resnet in Resnet论文:《Resnet in Resnet: Generalizing Residual Ar...原创 2018-04-02 09:20:25 · 8740 阅读 · 0 评论 -
深度学习(二十一)——SRCNN, DRCN, VDSR
https://antkillerfarm.github.io/图像超分辨率算法(续)前DL时代的SR从信号处理的角度来说,LR之所以无法恢复成HR,主要在于丢失了图像的高频信息。(Nyquist采样定理) Harry Nyquist,1889~1976,University of North Dakota本硕(1914,1915)+耶鲁博士(1917)。AT&T贝...原创 2018-04-09 10:30:47 · 13756 阅读 · 2 评论