神经网络
文章平均质量分 92
君子不怨
硕博连读,研究自动驾驶相关领域。每天做梦登上science封面,时常起草“图不灵奖”获奖感言。
展开
-
LSTNet--结合时间注意力机制的LSTM模型(附源码)
一、引言 LSTM出现以来,在捕获时间序列依赖关系方面表现出了强大的潜力,直到Transformer的大杀四方。但是,就像我在上一篇博客《RNN与LSTM原理浅析》末尾提到的一样,虽然Transformer在目标检测、目标识别、时间序列预测等各领域都有着优于传统模型的表现,甚至是压倒性的优势。但Transformer所依赖的Multi-Head Attention机制给模型带来了巨大的参数量与计算开销,这使得模型难以满足实时性要求高的任务需求。我也提到,LSTM想与Transformer抗...原创 2021-07-10 14:15:45 · 28747 阅读 · 79 评论 -
RNN与LSTM原理浅析
一、写在前面由于学业繁忙,突然发现近四个月没更新博客了,于是将前几天讲课的PPT做了简单整理,水一篇博客。本文主要做一些RNN及LSTM的简介而非深入讲解,文中部分LSTM通用结构图及通用公式来源于网络,此处不一一列举,感谢图片的原创博主提供的支持!二、RNN2.1什么是RNN RNN的全称为Recurrent Neural Network, 即“循环神经网络”,是一类以序列(sequence)数据为输入,在序列的演进方向进行递归(recursion)且所有节点(循环单元)按链式连接的...原创 2021-06-08 20:42:33 · 5268 阅读 · 4 评论 -
Sparse sharing 在ANN实现多任务时的应用
本文基于Python3.7环境和数字图像处理技术,通过构建多任务神经网络来实现手写数字与字母的识别。首先对要识别的数字与字母共48个字符分为4部分作为四个任务,每个任务识别12个字符。其次,对图像进行预处理:包括图像二值化、横向切割去除白边、纵向切割寻找分隔点、筛选分隔点、分割图片并统一大小、存储数据。然后训练多任务神经网络:包括构建基网络、Warm up、Sparse pruning、Parallel training。最后,将切割好的数据喂入训练好的多任务网络进行预测。原创 2021-01-18 22:04:01 · 594 阅读 · 1 评论