- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 随机梯度下降SGD算法理解
随机梯度下降算法（Stochastic gradient descent，SGD）在神经网络模型训练中，是一种很常见的优化算法。这种算法是基于梯度下降算法产生的，所以要理解随机梯度下降算法，必须要对梯度下降算法有一个全面的理解。梯度下降：这个算法我在之前的博文Logistic Regression的数学推导过程以及Python实现 中有详细的说明介绍，这里我们再来简单回顾一下梯度下降算法：假设...
2019-05-29 10:13:21
24702
9
原创 LSTM架构详解
LSTM 是深度学习中很常见也很有用的一种算法，特别是在自然语言处理中更是经常用到，那么 LSTM 架构中的内部结构又是什么样子的呢？首先我们来看 LSTM 的整体框架:在这幅图中，中间是一个 LSTM 模块，有三个输入分别是：ct−1{c^{t - 1}}ct−1、ht−1{h^{t - 1}}ht−1 和 xtx^txt，然后经过 LSTM 之后，输出分别是 ct{c^t}ct、ht{h^...
2019-05-25 16:53:49
12892
9
原创 attention机制详解
attentionattentionattention机制一般来说会用在深度学习中，在图像处理和自然语言处理方面都有所应用，在自然语言处理中一般会用在机器翻译中，如下图所示，假设我们要翻译“机器学习”四个字：这是一个简易的RNNRNNRNN模型，h1−h4h1-h4h1−h4 是 t1−t4t1-t4t1−t4 输出的向量，这四个时刻的输入分别是“机”、“器”、“学”、“习” 四个字，这个时候...
2019-05-23 10:47:37
639
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人