Deep Learning
Forlogen
无论世事如何,你都要成为一个更优秀的人。
展开
-
Pre-trained Models for Natural Language Processing: A Survey
预训练模型的出现对于NLP各个子领域都具有里程碑式的意义,不管是在文本分类,还是在阅读理解,甚至凡是和文本数据相关的任务都想着使用预训练模型来解决。尤其是以BERT为代表的众多模型的思想,设置被推广到了CV和语音领域的任务中。那么如何对现有的诸多预训练模型做合理的分类,并尽力弄清楚黑盒里所隐藏的秘密,并将其很好的应用于下游的具体任务中,对于任何具体的应用场景都十分重要。本文从以下四个方面对于发...原创 2020-04-12 23:20:35 · 1228 阅读 · 0 评论 -
理解 Batch Normalization
前几天在面试过程中问到了有关BN层的相关知识,自己虽然对于基本的原理知道,但是更为深层的东西有些模糊,所以结束之后再补充学习一下~BN机器学习中一个很重要的假设是独立同分布假设,即数据之间是彼此独立的,而且训练数据和测试数据之间满足同分布的要求。之所以做这样的假设,一方面希望模型可以从不同的特征中进行学习,而是过度依赖某几个特征;另一方面是为了使得在训练集上表现良好的模型具备足够好的泛化性...原创 2020-04-07 10:07:37 · 310 阅读 · 0 评论 -
Knowledge Distillation examples
根据 BERT and Knowledge Distillation关于知识蒸馏的介绍,我们已经知道了其的定义和基本流程,下面通过例子来具体看一下如何用代码来实现。首先导入所需的包from __future__ import absolute_import,unicode_literals,division,print_functionimport osimport tensorflow...原创 2020-02-24 14:43:50 · 539 阅读 · 0 评论 -
Attention?Attention!
下文主要是结合自己的理解翻译自:Attention?Attention!注意力(Attention)在近些年成为深度学习领域一个极其受欢迎的概念,同时作为一个强有力的工具也被集成到了各种模型中来处理相应的任务。下面将介绍注意力的起源、不同的注意力机制、各种使用注意力机制的模型,例如transformer、SNAIL。从某种程度上看,注意力是人在处理过载信息的一种手段,具体表现为我们如何对图...翻译 2019-06-14 15:24:13 · 7903 阅读 · 0 评论 -
流形学习(Mainfold Learning)
最近在看生成对抗网络(Generative Adversarial Networks,GAN)的时候,几乎在每一篇文章中都会看到mainfold这个词,哪么它在GAN中想要表达什么呢?或者说GAN和流形学习(Mainfold Learning)之间又有着什么样的关联呢?下面给出我在查阅了相关资料的一个简单的总结对于机器学习所使用的大多数数据集而言,数据的维度都很高,例如,MNIST中的样本为32...原创 2019-05-16 15:07:12 · 12164 阅读 · 3 评论 -
如何更直观的理解GANs?
论文地址:https://arxiv.org/pdf/1811.10597.pdf论文Github:https://github.com/CSAILVision/GANDissect论文Demo:http://gandissect.res.ibm.com/ganpaint.html?project=churchoutdoor&layer=layer4项目地址:https://gand...原创 2019-05-09 15:48:19 · 1141 阅读 · 3 评论 -
Improved Techniques for Training GANs
论文地址:https://arxiv.org/abs/1606.03498v1论文 Github:https://github.com/openai/improved_gan昨天晚上在看同样是openai一个人写的一篇介绍性的文章《From GAN to WGAN》时,其中写到了一些关于提升标准GAN训练方面的技术,如feature matching、minibatch discrimina...原创 2019-05-08 17:19:51 · 988 阅读 · 0 评论 -
循环神经网络初识
如何理解RNN?当我们在面对一个新的问题时,我们总是会从头脑中搜索类似的问题的解决方案,看有什么可以借鉴的地方,而不是蒙头从零开始思考。同样的在阅读一篇文章时,如果想理解某一句话,我们可能需要看前面的几个词和后面的几个词,如果想要理解一段话,还可能需要结合上下文。人类这样的思维过程显示了我们的思考是一个持续的过程,某时刻的想法要依赖于前面所学得的东西。而深度学习中传统的前馈神经网络是做不到持续思...原创 2019-05-05 18:59:35 · 1350 阅读 · 1 评论 -
TripleGAN
论文地址:https://arxiv.org/abs/1703.02291v2论文Github:https://github.com/zhenxuan00/triple-gan收录:NIPS 2017在《Coupled Generative Adversarial Networks》中,作者使用了两个GANs实现了在无配对数据的的情况下,实现不同的domain之间的高层次的特征学习。除了c...原创 2019-04-20 11:58:58 · 5101 阅读 · 0 评论 -
CoupleGAN
论文地址:https://arxiv.org/abs/1606.07536论文Github:https://github.com/andrewliao11/CoGAN-tensorflow收录:NIPS2016这篇文章中,作者提出了另一个的GAN的变种CoGAN,它通过学习多个域(domain)上的联合分布来实现在无配对数据的情况下的风格转换。CoGAN顾名思义是使用了两个GAN。通过一种...原创 2019-04-20 09:50:27 · 1605 阅读 · 3 评论 -
卷积神经网络模型-LeNet-5、AlexNet、ZFNet
LeNetLeNet由Yann LeCun在1995年完成,最初主要是用于手写数字的识别工作,它是最早的卷积神经网络之一。相比于全连接的神经网络,LeNet-5利用了卷积、参数共享、池化等操作来进行特征的提取,然后再使用全连接层进行分类,从而避免了大量的计算开销。它的网络架构如下所示LeNet-5的具体架构设置如下所示层类型图尺寸卷积核尺寸步长激活函数OUT...原创 2019-04-29 11:02:30 · 1181 阅读 · 0 评论 -
BigGAN
A paper a day keeps trouble away​\color{lime}{A\ paper\ a\ day\ keeps\ trouble\ away\!}A paper a day keeps trouble awa...原创 2019-04-24 10:07:24 · 1246 阅读 · 0 评论 -
Lifelong Learning
Lifelong Learninghttps://www.forbes.com/sites/kpmg/2018/04/23/the-changing-nature-of-work-why-lifelong-learning-matters-more-than-ever/#4e04e90e1e95终身学习(Lifelong Learning或Continuous Learning、 Nev...原创 2019-05-26 21:51:38 · 5226 阅读 · 2 评论 -
Explainable Learning
在机器学习中我们已经学习很多的模型,比如Linear Regression、LogisticsRegression、Decision Tress、Random Forest、Neural Network……,它们有着各自不同的用途,比如可以使用DT做分类,用LR来做回归。但除了各自擅长的领域不同之外,它们还有一个很大的不同之处,那便是可解释性。我们知道一个简单的Decision Tree可以看...原创 2019-05-25 14:39:08 · 606 阅读 · 0 评论 -
VAE以及tensorflow-2.0实现
Variational autoencoders(VAE)由Kingma et al.和Rezende et al.在2013年提出,它在图像生成、强化学习和自然语言处理等多个领域都有很广泛的应用。下面的主要内容翻译自《Tutorial - What is a variational autoencoder?》,并同时加入自己的理解以及其他相关资料的补充。VAE作为一种新的生成模型,相比...原创 2019-09-05 16:23:34 · 4502 阅读 · 4 评论 -
AutoEncoder以及TensorFlow-2.0实现代码
自编码器(Auto-encoder)Auto-encoder输入前馈神经网络的一种,它借助了稀疏编码的思想,目标是借助抽取到的高阶特征来重构输入,而不只是简单的复制。auto-encoder曾经主要用于降维和特征抽取,现在被扩展到了生成模型。Auto-encoder的模型架构可以简单地表示为:实现流程为:Auto-encoder的思想很简单,下面我们来看一下如何用代码实现,这里使用的是...原创 2019-09-05 10:49:47 · 1868 阅读 · 1 评论 -
深度学习中不同的Normalization方法的比较
不同的Normalization方法的比较深度学习中常用的Normalization方法有Batch Normalization(BN,2015)、Layer Normalization(LN,2016)、Instance Normalization(IN,2017)、Group Normalization(GN,2018)。不同的Normalization层的输入为特征图(Feature ...原创 2019-08-21 20:40:52 · 1229 阅读 · 0 评论 -
压缩感知(Compressed Sensing)
compressive sensing(CS) 又称 compressived sensing ,compressived sample,大意是在采集信号的时候(模拟到数字),同时完成对信号压缩之意。中文的翻译成“压缩感知”,意思变得至少不太好理解了。Compressed sensing is a mathematical tool that creates hi-res data sets ...转载 2019-07-05 16:10:25 · 5555 阅读 · 0 评论 -
蒙特卡罗方法初识
蒙特卡洛方法(Monte Carlo method,MC)在二十世纪四十年代由冯-诺伊曼、乌拉姆和尼古拉斯率先提出,名字来源于摩纳哥著名的赌城-蒙特卡洛。MC是一种通过生成合适的随机数和观察部分服从一些特定性质或属性的数据来解决问题的方法,通过统计抽样实验给各种各样的数学问题提供了近似解,这种方法对于一些太复杂以至很难分析求解的问题得到数字解法是非常有效的,而且同时适应于毫无概率性的问题 和 内在...原创 2019-07-09 10:58:54 · 404 阅读 · 0 评论 -
pytorch - GAN
Ian Goodfellow在2014年的《Generative Adversarial Nets》中提出了生成对抗网络的概念,具体的思想大家恐怕都看烂了~整个模型的架构可以表示为目标函数为minGmaxDV(G,D)=Ex−p data (x)logD(xi)+Ex∼pz(z)log(1−D(G(zi)))\min _{G} \max _{D} V(G, D)=E...原创 2019-06-27 14:40:25 · 2059 阅读 · 6 评论 -
Deep Reinforcement learning - Policy Gradient+PPO+TRPO
生物进化过程中为适应环境而进行的学习有两个特点人从来不是静止的被动等待而是主动的对环境进行试探环境对于人的试探动作产生一个反馈,人根据环境的反馈来调整以后的行为,是一种从环境状态到行为映射的学习因此从自然界中的种种规律中得到启发,便有了强化学习。强化学习(Reinforcement Learning,RL)又被称为再励学习、增强学习,是指从环境状态到行为映射的学习,以使系统行为从环境中获...原创 2019-07-08 15:21:56 · 712 阅读 · 0 评论 -
Transformer
我们熟悉的Transformer就是变形金刚,因此可以说擎天柱就是一个Transformer,但是这里要说的并不是变形金刚,而是谷歌在发表在NIPS-2017上的《Attention Is All You Need》中提出的强大的特征提取器Transformer。下面主要从Attention model、Self-attention和Transformer三个方面对Transformer的机制做一...原创 2019-06-09 16:51:48 · 2183 阅读 · 0 评论 -
Meta Learning/Learning to learn
转自:知乎 智能单元 Flood Sung 《最前沿:百家争鸣的Meta Learning/Learning to learn》仅供学习使用,如有侵权,请私删1 前言Meta Learning 元学习或者叫做 Learning to Learn 学会学习 已经成为继Reinforcement Learning 增强学习之后又一个重要的研究分支(以后仅称为Meta Learning)。对于...转载 2019-05-30 11:09:32 · 1145 阅读 · 0 评论 -
LAPGAN
论文地址:https://arxiv.org/abs/1506.05751论文Github:https://github.com/facebookarchive/eyescream本文关注的是如何生成较高分辨率的图像这个传统的GAN无法解决的问题。相关的GAN的变体也有很多,像BigGAN、StackGAN、PGGAN、SRGAN等,而本文作者提出的是一种在拉普拉斯金字塔框架下使用级联卷积网...原创 2019-04-27 15:27:00 · 521 阅读 · 0 评论 -
XGAN
A paper a day keeps trouble away​\color{lime}{A\ paper\ a\ day\ keeps\ trouble\ away\!}A paper a day keeps trouble awa...原创 2019-04-23 00:03:19 · 2769 阅读 · 0 评论 -
Tensorflow入门学习-基本分类-Fashion Mnist数据集
Fashion Mnist数据集是和前面的MNIST数据集一样一个入门的数据集 ,它包含70000张图像,有10个类别。具体可见:https://github.com/zalandoresearch/fashion-mnist数据集分为4个部分相应的类别用0-9的整数进行表示我们在Fashion Mnist数据集上构建一个简单的神经网络模型,进行入门的学习# -*- coding: ...原创 2018-11-24 22:10:14 · 2581 阅读 · 2 评论 -
tesnsorflow学习-MNIST数据及项目
MNIST是一个手写字符的数据集,主要有一些手写数字的图片和相应的标签组成包含如下四个文件:四个文件中,前两个是训练图像,一共60000张,后两个是测试图像,一共10000张。我们可以下载该数据集:# form tensorflow.examples.tutorials.mnist import a modulefrom tensorflow.examples.tutorials.mni...原创 2018-11-24 22:04:52 · 573 阅读 · 0 评论 -
《Mastering the game of Go without human knowledge》译文
1. 摘要人工智能的长期目标是后天自主学习,并且在一些具有挑战性的领域中实现超人的算法。最近,AlphaGo成为第一个在围棋中击败人类世界冠军的程序。AlphaGo的树搜索使用深度神经网络来评估棋局和选定下棋位置。神经网络是利用对人类专业棋手的移动进行监督学习,同时通过自我博弈进行强化学习来进行训练的。在这里,我们引入了一种没有人类的数据、指导或超越游戏规则的领域知识的、基于强化学习的算法。Al...原创 2018-10-23 18:39:51 · 6895 阅读 · 0 评论 -
《Mastering the game of Go with deep neural networks and tree search》
1. 围棋问题在人工智能界之所以难以解决的问题所在?• 围棋的棋盘位置较多,导致在走棋时搜索空间巨大• 对于当前棋盘分布和下一步落子优劣性衡量具有一定难度2. AlphaGo的技术解决方案和核心的算法思想使用值网络来评估棋盘的布局,以及使用策略网络来选择每一次落子。这些深度神经网络在基于人类棋手的比赛的数据,通过对有监督学习的一种新的组合和自我对弈的强化学习来实现的。不使用前向搜索,而是使...原创 2018-10-23 11:24:30 · 1566 阅读 · 0 评论 -
李宏毅机器学习PTT的理解(2)深度学习为甚深?
在深度学习中,是不是我们模型的隐藏层越多,每一层的单元越多就越好呢?下面我们可以看一下在不同形式的层下的性能结果是的!这是在我们不考虑其他的因素的情况下的理想情况,现实中可能不能无限制的构建非常非常大的模型。那么我们能否只设置一个隐藏层,而在这一层设置非常多的神经元,构建一个Fat的神经网络呢?层数不多,每一层很大的网络相比于层数很多每一层不大的网络,哪个更好呢?我们同样看一下实验的...原创 2018-10-19 16:46:00 · 408 阅读 · 0 评论 -
李宏毅机器学习PTT的理解(1)深度学习的介绍
深度学习的介绍机器学习就像是寻找一个合适的函数,我们输入数据就可以得到想要的结果,比如:在语音识别中,我们输入一段语音,函数的输出值就是识别的结果;在图像识别中,输入一张照片,函数可以告诉我们分类的结果;在围棋游戏中,输出的下一步落子的位置等。学习的框架大致如下:创建的模型可以看成是一系列的函数,输入我们的训练数据后,计算代价函数的值,选择一个最好的函数形式用于我们的模型,然后在测试集...原创 2018-10-19 16:40:50 · 1135 阅读 · 0 评论 -
深度学习-机器学习基础知识
机器学习基础作为一个多学科交叉的融合学科,机器学习涉及到包括计算机、矩阵分析、概率统计、优化理论等在内的多门学科知识,它让计算机能够在没有被显示编程的情况下拥有学习的能力。机器学习算法能够自动地从数据中发现内在的知识和规律,并根据这些规律对未知数据可能产生的结论进行推测。几乎所有由计算机完成的智能型任务背后都是机器学习算法的功劳。1. 学习算法 根据书中的解释,机器学习中学习的定义是“对某...原创 2018-09-22 15:25:09 · 689 阅读 · 0 评论 -
深度学习-数值计算基础
数值计算 对于机器学习中的问题,有一部分可以通过数学推导的方式直接得到用公式表达的解析解,但对绝大多数的问题来说,解析解是不存在的,需要使用迭代更新的方法求数值解。然而实数的精度是无限的,计算机能够表达的精度是有限的,这就涉及到许多数值计算方法的问题。1. 基本概念上溢和下溢:由于计算机表达实数的精度的有限,在某些情况下许多复杂的复合运算中的四舍五入会导致一个接近0的小数变为0或者一个...原创 2018-09-22 14:28:42 · 3187 阅读 · 0 评论 -
深度学习-概率论与信息论基础
来自《深度学习》的配套资料!!!详情可以看书上的知识或是看相关的教材异步社区:深度学习概率与信息论 概率论是用来描述不确定性的数学工具,很多机器学习算都是通过描述样本的概率相关信息来推断或构建模型;信息论最初是研究如何量化一个信号中包含信息的多少,在机器学习中通常利用信息论的一些概念和结论描述不同概率分布之间的关系。1. 基本概念随机变量: 可以随机取不同值的变量,在机器学习算法中...转载 2018-09-22 14:22:37 · 968 阅读 · 1 评论 -
深度学习-线性代数基础
线性代数 线性代数是一门被广泛运用于各个工程技术学科的数学分支,利用线性代数的相关概念和结论,可以极大的简化机器学习里相关公式的推导和表述。1. 基本概念标量: 一个单独的数, 通常使用斜体小写字母表示,例如x=1x=1x=1。向量:可以看作是一个有序的一维数组,通过索引能够唯一的确定向量中的某个值,通常使用斜体加粗的小写字母表示,例如x=1,2,3,4,5\boldsymbol...转载 2018-09-22 13:53:54 · 422 阅读 · 0 评论 -
重新理解梯度下降法(Gradient Descent)及其相关优化方法
梯度下降法广泛的应用在很多模型的无约束优化问题的求解中,比如线性回归、神经网络等等。之前在学习Stanford机器学习-Linear Regressioon with One Variable(3)时对于梯度下降有了初步的理解,但是对于梯度下降法的多种类型,以及背后的数学原理理解的并不是很清楚,希望通过这个专项的学习,对于梯度下降法可以有一个深入的学习。所需的数学知识对于其中涉及的导数、偏导数...原创 2019-03-24 21:42:53 · 1876 阅读 · 0 评论 -
GAN
学习对抗生成网络,第一件事就是看这篇神作《Generative Adversarial Nets》,下面对这篇论文做一个学习的总结,主要关注于文中介绍对抗生成网络的部分,其余内容详见论文,它对于我们理解生成对抗网络不会有太大的影响。 总览看一篇论文最重要的自然是先看摘要部分,下面我们看一下它对本文的主要内容是如何介绍的。在本文中作者提出了一种新的框架,通过对抗的过程来评估生成模型,在这...原创 2019-03-30 09:24:11 · 403 阅读 · 0 评论 -
Pix2Pix
A paper a day keeps trouble away​ \color{lime}{A\ paper\ a\ day\ keeps\ trouble\ away\!}A paper a day keeps trouble aw...原创 2019-04-05 17:42:51 · 583 阅读 · 0 评论 -
GAIN
论文地址:https://arxiv.org/abs/1806.02920论文GitHub:https://github.com/jsyoon0823/GAIN收录:ICML2018总览这篇论文中作者提出了一种使用GAN填补缺失值的新框架GAIN,基本原理和标准的GAN相似,不同的在于根据具体问题所做的架构方面的改变。在GAIN中主要包括以下三个部分:Generator,G:它用...原创 2019-05-06 22:55:01 · 9591 阅读 · 55 评论 -
BEGAN
A paper a day keeps trouble away​\color{lime}{A\ paper\ a\ day\ keeps\ trouble\ away\!}A paper a day keeps trouble awa...原创 2019-04-21 17:19:32 · 3235 阅读 · 0 评论