深度学习
文章平均质量分 87
君子不怨
硕博连读,研究自动驾驶相关领域。每天做梦登上science封面,时常起草“图不灵奖”获奖感言。
展开
-
Transformer结构解析(附源代码)
保姆级transformer结构解析原创 2022-04-11 21:51:53 · 3443 阅读 · 12 评论 -
LSTNet--结合时间注意力机制的LSTM模型(附源码)
一、引言 LSTM出现以来,在捕获时间序列依赖关系方面表现出了强大的潜力,直到Transformer的大杀四方。但是,就像我在上一篇博客《RNN与LSTM原理浅析》末尾提到的一样,虽然Transformer在目标检测、目标识别、时间序列预测等各领域都有着优于传统模型的表现,甚至是压倒性的优势。但Transformer所依赖的Multi-Head Attention机制给模型带来了巨大的参数量与计算开销,这使得模型难以满足实时性要求高的任务需求。我也提到,LSTM想与Transformer抗...原创 2021-07-10 14:15:45 · 28751 阅读 · 79 评论 -
RNN与LSTM原理浅析
一、写在前面由于学业繁忙,突然发现近四个月没更新博客了,于是将前几天讲课的PPT做了简单整理,水一篇博客。本文主要做一些RNN及LSTM的简介而非深入讲解,文中部分LSTM通用结构图及通用公式来源于网络,此处不一一列举,感谢图片的原创博主提供的支持!二、RNN2.1什么是RNN RNN的全称为Recurrent Neural Network, 即“循环神经网络”,是一类以序列(sequence)数据为输入,在序列的演进方向进行递归(recursion)且所有节点(循环单元)按链式连接的...原创 2021-06-08 20:42:33 · 5270 阅读 · 4 评论 -
ResNet50对Kaggle数据集dog-breed-identification进行120种分类(附模型搭建代码)
一、主要方法⑴深度学习框架采用的pytorch,采用nn.Sequential搭建残差块,采用nn.moudle搭建网络结构。⑵卷积之后采用BatchNorm对featuremap进行处理,防止出现梯度消失或梯度爆炸。⑶损失函数采用CrossEntropyLoss,优化器为Adam⑷模型采用ResNet50,搭建好后连同数据导入GPU进行训练二、图像预处理因为dog-breed-identification数据集中的图片大小是不统一的,因此需要对图像进行预处理,通过Opencv提供的原创 2021-02-21 16:25:12 · 1228 阅读 · 1 评论 -
Sparse sharing 在ANN实现多任务时的应用
本文基于Python3.7环境和数字图像处理技术,通过构建多任务神经网络来实现手写数字与字母的识别。首先对要识别的数字与字母共48个字符分为4部分作为四个任务,每个任务识别12个字符。其次,对图像进行预处理:包括图像二值化、横向切割去除白边、纵向切割寻找分隔点、筛选分隔点、分割图片并统一大小、存储数据。然后训练多任务神经网络:包括构建基网络、Warm up、Sparse pruning、Parallel training。最后,将切割好的数据喂入训练好的多任务网络进行预测。原创 2021-01-18 22:04:01 · 594 阅读 · 1 评论