![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 88
一只程序猿中的算法dog
这个作者很懒,什么都没留下…
展开
-
通俗理解GRU网络原理
GRU介绍上篇文章提到了RNN(循环神经网络)的变体LSTM(长短期记忆网络),现在说一下它们的另一个变体GRU(Gate Recurrent Unit)——门控循环单元。虽然LSTM能够解决循环神经网络因长期依赖带来的梯度消失和梯度爆炸问题,但是在LSTM中引入了三个门函数:输入门、遗忘门和输出门来控制输入值、记忆值和输出值,参数较多,训练起来比较困难。而在GRU模型中只有两个门:分别是更新门和重置门,且在超参数全部调优的情况下,二者性能相当,GRU结构更为简单,训练样本较少,易实现。GRU的结构原创 2021-06-04 18:03:08 · 10593 阅读 · 0 评论 -
通俗理解LSTM网络原理
LSTM上节讲到的RNN循环神经网络有一个弊端,无法处理长距离依赖的问题,而RNN的变种长短时记忆网络(Long Short Term Memory Network, LSTM),可以解决这个问题。原始RNN的隐藏层只有一个状态,即h,它对于短期的输入非常敏感。LSTM在此基础上又增加一个状态,即c,让它来保存长期的状态,称为单元状态(cell state)。新增加的状态c,称为单元状态。我们把上图按照时间维度展开:如图在 t 时刻,LSTM 的输入有三个:当前时刻网络的输入值 Xt、上一时刻 L原创 2021-06-03 17:51:47 · 1836 阅读 · 4 评论 -
通俗讲解bert原理
bert与GPT一样均是采用transformer的结构,与GPT不同的是,bert是双向的,而GPT是单向的。如图所示:bert结构先看下bert的内部结构,官网最开始提供了两个版本,L表示的是transformer的层数,H表示输出的维度,A表示mutil-head attention的个数:如今已经增加了多个模型,其中包括中文模型:从模型的层数来说其实已经很大了,但是由于transformer的残差(residual)模块,层数并不会引起梯度消失等问题,但是并不代表层数越多效果越好,有论原创 2021-06-03 16:58:57 · 2952 阅读 · 0 评论 -
通俗理解RNN循环神经网络原理
1、RNN的简单介绍 我们前面提到的无论是人工神经网络还是CNN卷积神经网络,他们的前提都是:元素之间是相互独立的,前一个输入与后一个输入是没有关系的。但现实世界中,很多元素都是相互连接的,比如:某人说:我喜欢美食,其中最喜欢的吃的是肉蟹煲,以后有钱了一定要每天吃___.这里填空,人应该都知道是填“肉蟹煲“。因为我们是根据上下文的内容推断出来的,但机器要做到这一步就比较难了。因此,我们就需要使用循环神经网络了,他的本质是:像原创 2021-06-02 15:31:33 · 5465 阅读 · 0 评论 -
CNN卷积神经网络详解
1、cnn卷积神经网络的概念卷积神经网络(CNN),这是深度学习算法应用最成功的领域之一,卷积神经网络包括一维卷积神经网络,二维卷积神经网络以及三维卷积神经网络。一维卷积神经网络主要用于序列类的数据处理,二维卷积神经网络常应用于图像类文本的识别,三维卷积神经网络主要应用于医学图像以及视频类数据识别。2、卷积神经网络结构卷积神经网络通常包含以下几层:卷积层:卷积神经网路中每层卷积层由若干卷积单元组成,每个卷积单元的参数都是通过反向传播算法优化得到的。卷积运算的目的是提取输入的不同特征,第一层卷积层原创 2021-05-31 10:15:20 · 12484 阅读 · 0 评论