深度学习
文章平均质量分 91
luv_dusk
你很有眼光
展开
-
SMART: 通用对抗式训练
背景纯粹的微调下,由于目标函数设置过于简单,神经网络很容易急不可耐地收敛到最近的局部最优点。这些最优点不仅并非全局最优点,同时不抗攻击。只要在模型输入上稍加扰动,输出的概率分布便会产生大幅度的偏移。为此,一些研究潜心于此,希望能让神经网络学习到的映射能力更为 平滑,从而进一步地提高 泛化能力。如果你对深度学习有一定深入的了解,对于这一点一定不陌生。这些研究里最为经典的当属 VAE (变分自编码器),通过 reparameterization,将噪声结合到模型前馈的中间流程,基于不变的输入和输出,提高中间原创 2020-08-21 16:04:53 · 2451 阅读 · 3 评论 -
AdamW, LAMB: 大型预训练模型常用优化器
按照时间上的迭代顺序,近些年神经网络先后出现了 Gradient Descent (GD)、Momentum、Adaptive Gradient (AdaGrad)、Root Mean Square prop (RMSprop)、Adaptive Moment estimation (Adam) 等优秀的优化器。到如今,大部分 NLP 预训练模型已不再使用这些方法,而是使用 **Adam Weight Decay Regularization (AdamW)** 和去年首度亮相的 **Layer-wise原创 2020-05-21 17:06:07 · 11250 阅读 · 3 评论 -
KBQA: 趋势浅谈
KBQA百问十年大趋势语义解析槽位填充其他浪潮翻涌ACL 2019NIPS 2019AAAI 2019ICLR 2019下一个十年经典待用文段百问为更好地理解前人的创造是如何工作的,不如先对 QA 大背景下的所有问题进行统一的定义和分类。依据处理难度由低到高,可列举出以下常规类型:类别简介ExampleLogical ExpressionSimple Question...原创 2020-04-16 15:31:40 · 5532 阅读 · 3 评论 -
TensorFlow: 1.x将长时间保持主流
Tensorflow 2.0版本虽然推出已有些时日了,前两天 2.1 版本也已经放出来了,但笔者基于一些猜想,一直兴趣乏匮。今天读了读官方说明书,又在一些网站看了看先锋人士的使用体会,果不其然。最终得出结论:**熟悉 TF1.x 的开发者们暂时没有必要切换到 2.x 版本**。具体地,我分为以下几个方面来讨论。原创 2020-01-11 17:04:18 · 904 阅读 · 0 评论 -
贝叶斯优化
AutoML 走到今天,已演化出诸多行之有效的自动调参机制,**贝叶斯优化** (Bayes optimization) 是其中的优秀代表。原理上,贝叶斯优化通过 **高斯过程** (Gaussian process) 或 **随机森林** (random forest) 拟合超参数与损失函数间的隐藏关系,并在每一轮迭代完成时基于当前拟合函数给出最优参数的建议,进入下一次迭代。相对于网格搜索和随机搜索等无头绪的超参数尝试,贝叶斯优化显然更为高效和精确。可以预期的是,不久的将来,目前流行的网格搜索和随机搜索都原创 2019-08-29 21:27:29 · 2061 阅读 · 0 评论 -
从图嵌入算法到图神经网络
近几年来,伴随着计算机算力的急剧提升,神经网络从历史的尘埃中走出,横扫各大领域,完成一次次颠覆性的创新。依托高度弹性的参数结构,线性与非线性的矩阵变换,神经网络能适用于各式各样的数学场景,在各个类别的应用上我们都能看到神经网络的影子。其中著名的应用方向,包括自然语言处理、计算机视觉、机器学习、生物医疗、推荐系统、自动驾驶等等。图神经网络,广泛应用于社交关系、知识图谱、推荐系统、蛋白质分子建模,同样源自于对传统领域的创新,它的前身是图嵌入算法;而图嵌入算法又以图数据作为载体。这一关系,将贯穿本文始末,成为我们原创 2019-08-13 15:12:25 · 13402 阅读 · 12 评论 -
Transformer, Transformer-XL, XLNet: 追溯XLNet的前世今生
正当 GPT-2 还拿着 15 亿参数的模型吊着人们的胃口时,XLNet 带着开源的代码和 20 项 SOTA 的成绩悄悄发布了。从 BERT 到 XLNet,大一统预训练模型的成功,无疑昭示着行业的快速进步。现在是最好的时机。回到正题,本文虽篇幅较长,但能提供不一样的视角,帮你迅速理清模型的细节。废话不多说,笔者这就将带你快速品读,XLNet 诞生之路上最重要的三篇论文:- ***Attention Is All You Need*** (12 Jun. 2017)- ***Transformer-X原创 2019-07-03 23:24:50 · 4870 阅读 · 4 评论 -
TensorFlow, Mxnet, PyTorch: 要点总结及常见神经网络代码实现
目录一、深度学习框架MxnetTensorFlow二、多层感知机 (MLP) (Mxnet+TensorFlow实现)三、卷积神经网络 (LeNet/AlexNet/VGG/NiN/GoogLeNet/ResNet) (Mxnet实现)四、循环神经网络 (RNN/GRU/LSTM) (Mxnet+TensorFlow实现)五、对抗式生成网络 (DCGAN) (Mxnet实现)六、区域卷积神经网络 ...原创 2019-07-09 07:13:33 · 5123 阅读 · 0 评论