- 博客(6)
- 资源 (7)
- 收藏
- 关注
RSS订阅转载 keras 高级激活函数
高级激活层Advanced ActivationLeakyReLU层keras.layers.advanced_activations.LeakyReLU(alpha=0.3)LeakyRelU是修正线性单元（Rectified Linear Unit，ReLU）的特殊版本，当不激活时，LeakyReLU仍然会有非零输出值，从而获得一个小梯度，避免ReLU可能出现的神经元“死亡”现...
2019-01-22 14:41:22
2929
转载 Attenion 综述三
近一两年，注意力模型（Attention Model）是深度学习领域最受瞩目的新星，用来处理与序列相关的数据，特别是2017年Google提出后，模型成效、复杂度又取得了更大的进展。以金融业为例，客户的行为代表一连串的序列，但要从串行化的客户历程数据去萃取信息是非常困难的，如果能够将self-attention的概念应用在客户历程并拆解分析，就能探索客户潜在行为背后无限的商机。然而，笔者从Atte...
2019-01-21 10:17:53
524
1
转载 Attention 二 创新篇
讲讲最近深度学习里面的后期之秀吧，Transformer（和变形金刚没有半毛钱关系）话说自公元二零一三年，深度学习网络一枝独秀，自机器学习王国脱颖而出，带动了人工智能领域的发展。其中它最主要的两大家，卷积网络（CNN）和循环网络（RNN），因其独特的性质，分别在计算机视觉和自然语言处理领域得到广泛使用。然而这两大家却都还是上世纪就被提出来了，本世纪虽有创新，却也逃脱不了这两大家的干...
2019-01-18 10:00:25
868
转载 Attention 一综述
近年来，注意力（Attention）机制被广泛应用到基于深度学习的自然语言处理(NLP)各个任务中。随着注意力机制的深入研究，各式各样的attention被研究者们提出，如单个、多个、交互式等等。去年6月，google机器翻译团队在arXiv上的《Attention is all you need》论文受到了大家广泛关注，其中，他们提出的自注意力（self-attention）机制和多头（mult...
2019-01-10 15:13:19
1643
转载 keras 编写自己的Layer
1. Layer重写的基本思路？Keras层的骨架。只需要实现三个方法即可:build(input_shape): 这是你定义权重的地方。这个方法必须设self.built = True，可以通过调用super([Layer], self).build()完成。build，这个函数用来确立这个层都有哪些参数，哪些参数是可训练的哪些参数是不可训练的。call(x): 这里是编写层的功能逻...
2019-01-09 16:56:19
1939
转载 Keras 自定义层
Keras提供众多常见的已编写好的层对象，例如常见的卷积层、池化层等，我们可以直接通过以下代码调用：# 调用一个Conv2D层from keras import layersconv2D = keras.layers.convolutional.Conv2D(filters,\kernel_size, \strides=(1, 1), \padding='valid', \...)...
2019-01-09 15:23:37
1509
test_python.rar
2020-08-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人