![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
序列模型
文章平均质量分 91
君子不怨
硕博连读,研究自动驾驶相关领域。每天做梦登上science封面,时常起草“图不灵奖”获奖感言。
展开
-
Transformer结构解析(附源代码)
保姆级transformer结构解析原创 2022-04-11 21:51:53 · 3647 阅读 · 12 评论 -
LSTNet--结合时间注意力机制的LSTM模型(附源码)
一、引言 LSTM出现以来,在捕获时间序列依赖关系方面表现出了强大的潜力,直到Transformer的大杀四方。但是,就像我在上一篇博客《RNN与LSTM原理浅析》末尾提到的一样,虽然Transformer在目标检测、目标识别、时间序列预测等各领域都有着优于传统模型的表现,甚至是压倒性的优势。但Transformer所依赖的Multi-Head Attention机制给模型带来了巨大的参数量与计算开销,这使得模型难以满足实时性要求高的任务需求。我也提到,LSTM想与Transformer抗...原创 2021-07-10 14:15:45 · 30494 阅读 · 79 评论 -
RNN与LSTM原理浅析
一、写在前面由于学业繁忙,突然发现近四个月没更新博客了,于是将前几天讲课的PPT做了简单整理,水一篇博客。本文主要做一些RNN及LSTM的简介而非深入讲解,文中部分LSTM通用结构图及通用公式来源于网络,此处不一一列举,感谢图片的原创博主提供的支持!二、RNN2.1什么是RNN RNN的全称为Recurrent Neural Network, 即“循环神经网络”,是一类以序列(sequence)数据为输入,在序列的演进方向进行递归(recursion)且所有节点(循环单元)按链式连接的...原创 2021-06-08 20:42:33 · 6544 阅读 · 4 评论