NLP
阿木鸣
这个作者很懒,什么都没留下…
展开
-
【NLP】因果卷积(causal)与扩展卷积(dilated)
因果卷积:因为要处理序列问题(即要考虑时间问题,)就不能使用普通的CNN卷积,必须使用新的CNN模型,这个就是因果卷积的作用,看下面一个公式,对与序列问题(sequencemodeling),主要抽象为,根据x1......xt和y1.....yt-1去预测yt,使得yt接近于实际值。我们根据图片来看下因果卷积的样子,下面这个图片来自:https://deepmind.com/blog/...转载 2019-09-16 08:09:03 · 5533 阅读 · 1 评论 -
【NLP】Dilated Convolution —— 空洞卷积(膨胀卷积)
Dilated Convolution概述Dilated Convolution是在标准卷积的Convolution map的基础上注入空洞,以此来增加感受野(reception field)。因此,Dilated Convolution在Standard Convolution的基础上又多了一个超参数(hyper-parameter)称之为膨胀率(dilation rate),该超参数指的是k...转载 2019-09-16 08:17:40 · 894 阅读 · 0 评论 -
【NLP】Layer-Normalization
最近深入batch normalization的研究,发现了一系列Normalization方法的富矿,深有收获。从2015年的BN开始,2016年出了LN(layer normalization)和IN(Instance Normalization),2018年也就是今年,Kaiming提出了GN(Group normalization),成为了ECCV2018最佳论文提名。论文标题:L...转载 2019-09-19 08:23:00 · 1177 阅读 · 0 评论 -
【NLP】Batch-Normalization
BN目前已经成为了调参师面试必问题之一了。同时,BN层也慢慢变成了神经网络不可分割的一部分了,相比其他优化操作比如dropout, l1, l2, momentum,影子变量等等,BN是最无可替代的。论文标题: 《Batch Normalization: Accelerating Deep Network Training b y Reducing Internal Covariate Shi...转载 2019-09-19 08:43:56 · 383 阅读 · 0 评论