![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
时序深度学习
文章平均质量分 93
快乐的拉格朗日
心生热爱,不止不休
这是之前的博客:https://blog.csdn.net/qq_31336799?type=blog
展开
-
ECAPA-TDNN结合代码的理解
ECAPA-TDNN网络架构被分成了三个小节,下面将对ecapa-tdnn模型架构以及代码进行详细分析。原创 2023-10-12 20:09:09 · 328 阅读 · 0 评论 -
Attention Is All You Need—transformer详解
transformer仅仅使用注意力机制,没有使用任何的卷积或者RNN结构。传统RNN结构的当前隐层状态ht需要当前时刻的输入以及上一时刻的隐状态输入ht−1,受到这一固有特性的影响,遇上长序列时效率会非常低,因为受到内存大小的限制,不可能无限制增大batch的大小,无法并行处理序列。由于翻译前后句子长短不一定是一致的,机器翻译任务一般采用编码-解码结构来解决。原创 2023-04-29 19:00:00 · 244 阅读 · 1 评论 -
再探attention—self-attention原理详解
self attention是论文《Attention is all you need》中提出的一种新的注意力机制。在了解了attention原理后,self-attention原理也就很好理解了原创 2022-12-12 11:42:49 · 795 阅读 · 0 评论 -
初探attention—attention原理和代码详解
在正式开始探索attention之前,首先了解一下seq2seq。循环神经网络只能将一个序列信号转换为定长输出,但Seq2Seq可以实现一个序列信号转化成一个不定长的序列输出,因此seq2seq模型应用广泛,可以应用于很多不对等输入输出的场景,比如机器翻译,文本摘要,对话生成,诗词生成,代码补全等领域,当然也可以用于文本分类等任务。原创 2022-11-11 20:16:23 · 965 阅读 · 0 评论 -
LSTM原理专项介绍
LSTM缓解了RNN中梯度消失的问题,使其可以处理长短时序列。但是LSTM并没有彻底解决梯度消失的问题。LSTM被各大科技公司应用在文字翻译,语音识别等方向,因为其相比RNN,在各个应用场景上带来了比较大的效果提升。原创 2022-11-10 17:36:11 · 2029 阅读 · 1 评论 -
RNN原理介绍
RNN在实际使用的频率并不多,大多使用LSTM替代RNN,因此对RNN进行简单的介绍。RNN是研究LSTM的基础,毕竟LSTM是基于RNN的改良,二者循环原理大体一致。由于RNN使用sigmod激活函数,其导数范围在[0,0.25]之间,那么当V>4时会产生梯度爆炸,而当V原创 2022-11-04 17:59:23 · 1908 阅读 · 0 评论