transformer入坑指南

已于 2023-10-30 19:57:28 修改
阅读量249 收藏 3
点赞数 2
文章标签： transformer 深度学习 人工智能
于 2023-07-03 17:31:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41580422/article/details/126833584
版权

*免责声明:
1\此方法仅提供参考
2\搬了其他博主的操作方法,以贴上路径.
3*

场景一: Attention is all you need

场景二: VIT

场景三: Swin v1

场景四: Swin v2

场景五: SETR

场景六: TransUNet

场景七: SegFormer

场景八: PVT

场景九: Segmeter

…

场景一:Attention is all you need

论文地址

强推–》国外学者的解读

强推–》国内学者对国外学者解读的翻译

1.1 概述

强推先看–> 《场景三:seq2seq与attention机制》

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

1.2 transformer网络结构

细讲 | Attention Is All You Need

在这里插入图片描述

1.3 encoder

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.4 decoder

tarnsformer里面的decoder阶段的mask的作用与数学描述

在这里插入图片描述

1.5 输入端 (位置编码)

在这里插入图片描述

在这里插入图片描述

1.6 encoder与decoder的交互形式

在这里插入图片描述

在这里插入图片描述

…

场景二: VIT （Vision Transformer）

论文地址

Vision Transformer详解

ViT（Vision Transformer）解析

【机器学习】详解 Vision Transformer (ViT)

1.1 概述

MLP更多请看–> 《场景六:神经网络》
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.2 VIT网络结构

在这里插入图片描述

1.3 输入端编码处理

图片编码

在这里插入图片描述

用于分类的class编码

在这里插入图片描述
位置编码
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.4 encoder

强推–>transformer系列基础知识先导篇

【正则化】DropPath/drop_path用法

在这里插入图片描述

1.5 MLP Head

强推–>MLP更多知识可查看 《场景五1.4 与场景六》
在这里插入图片描述

1.6 ViT-B/16结构图

在这里插入图片描述

1.7 hybrid model （cnn与transformer结合的混合模型）

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.8 参数调节

在这里插入图片描述

1.9 实验结果

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

…

场景三：swin v1

Swin Transformer 论文地址

github工程项目地址

参考一：Swin-Transformer网络结构详解

参考二：论文详解：Swin Transformer

参考三：详解Swin Transformer核心实现，经典模型也能快速调优

1.1 前言

在这里插入图片描述

1.2 网络结构

在这里插入图片描述
在这里插入图片描述

1.3 输入端编码处理

在这里插入图片描述

1.4 W-MSA ( Window Mutil-head Attention )

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

1.5 SW-MSA ( Shifted Window Mutil-head Attention)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.6 Patch Merging

在这里插入图片描述

1.7 相对位置偏置

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

1.8 模型结构图

在这里插入图片描述
在这里插入图片描述

1.9 性能

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

…

…

you did it
在这里插入图片描述

weeksooo
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
CSWin Transformer
08-20
Transformer设计中一个具有挑战性的问题是，全局自注意力的计算成本非常高，而局部自注意力通常会限制每个词向量的交互域。为了解决这个问题，作者提出了CSWin Transformer。CSWin Transformer 在常见的视觉任务上...
深度学习入坑指南
qq_34425255的博客
04-23 211
从李宏毅机器学习开始入门，再到深度学习，当然中间还有穿插着学了Python基础，将Python语法的基础进行了补齐，再到小土堆PyTorch实战，再到YOLO实战，R-CNN论文精读，ResNet论文精读，HRNet论文精读，OpenPose论文精读，ST-GCN论文精读，VGG，AlexNet论文精读，当然中间还穿插着结合实验室课题阅读了好几篇综述文章，再到后面确定研究方向。中间当然也有试错的部分，比如学习习惯的培养，也是一个漫长的过程，还有每天调试项目的过程，也学到很多东西。小z提到了自己的学习路线。
搜索和CTR预估入坑指南
forget-tears的博客
07-11 556
搜索小白、CTR小白，整理了一份入坑指南，一些比较好的博客和论文。本文适用于有一定的机器学习和深度学习基础，但是不懂搜索和CTR的同学。
大杀器，多模态大模型MiniGPT-4入坑指南
luoganttcc的博客
10-09 676
ChatGPT的发布给大家带来了不少的震撼，而随后发布的GPT-4更是展现了非凡的多模态能力。但是，ChatGPT和GPT4官方公布的细节很少，OpenAI俨然走上了闭源之路，让广大AI从业者又爱又恨。最近，来自沙特阿拉伯阿卜杜拉国王科技大学的研究团队开源了GPT-4的平民版 MiniGPT-4。他们认为，GPT-4 具有先进的多模态生成能力的主要原因在于利用了更先进的大型语言模型（LLM）。为了研究这一现象，他们提出了 MiniGPT-4。MiniGPT-4 简介。
全面了解大语言模型，这有一份阅读清单
zenRRan的博客
03-20 262
机器之心报道机器之心编辑部进NLP群—>加入NLP交流群了解当代大型语言模型背后的设计、约束和演变，你可以遵循本文的阅读清单。大型语言模型已经引起了公众的注意，短短五年内，Transforme等模型几乎完全改变了自然语言处理领域。此外，它们还开始在计算机视觉和计算生物学等领域引发革命。鉴于Transformers对每个人的研究进程都有如此大的影响，本文将为大家介绍一个简短的阅读清单，供机器学...
Transformer模型详解
01-12
《Transformer模型详解》是一份详尽且深入的Transformer模型学习指南，为那些希望了解Transformer模型核心原理、实现细节和扩展应用的学习者提供了宝贵的资源。此资源内容广泛，从模型的基本概念到实际应用，几乎...
Transformer模型应用领域
08-24
Transformer模型应用领域
Transformer 析构
04-08
详细介绍Transformer的结构、原理以及各模块的功能。资料来自网络，经本人加工修改，相对比较全面。
Transformer PPT
04-22
介绍了为什么要引入self-attention、self-attention的基本原理、self-attention的矩阵表示、Multi-head self-attention、 Positional Encoding、seq2seq
深度学习之基于YoloV5+LPRNet车牌识别系统
2301_79809972的博客
05-18 929
一、项目背景与意义在智能交通管理系统中，车牌识别技术是一项至关重要的技术。随着车辆数量的不断增长和交通环境的日益复杂，对车牌进行准确、快速的识别已成为现代交通管理不可或缺的一部分。为了满足这一需求，本项目采用了先进的YOLOv5和LPRNet算法，结合深度学习技术，开发了一套高效的车牌识别系统。二、技术原理该系统基于深度学习和目标检测技术，整合了YOLOv5目标检测框架和LPRNet文本识别模型。YOLOv5算法在目标检测领域具有出色的性能，能够快速、准确地检测图像中的目标；
深入解析自注意力机制（Self-Attention）：深度学习中的关键创新
qlkaicx的博客
05-17 1070
这一技术已经彻底改变了自然语言处理（NLP）等领域的模型架构，特别是在Transformer模型的推动下，自注意力机制成为了近年来深度学习研究的热点之一。本篇博客将详细介绍自注意力机制的起源、工作原理、数学表达和在现代深度学习中的应用。自注意力的提出标志着注意力机制的一个重大转变，即注意力也可以有效地应用于序列内部的元素之间，从而直接捕捉序列内的依赖关系。即元素 ( i ) 对元素 ( j ) 的注意力权重是 ( i ) 的查询向量与 ( j ) 的键向量的点积，通过softmax归一化后得到。
深度学习之激活函数——ReLU
m0_61787307的博客
05-14 702
整流线性单元(ReLU)，全称Rectified linear unit，是现代神经网络中最常用的激活函数，大多数前馈神经网络都默认使用该激活函数。
Pytorch学习笔记——Conv2d与Tensorboard的结合使用
weixin_50765519的博客
05-14 276
Conv2d是深度学习框架中用于执行二维卷积操作的函数或类。它接受输入数据(通常是图像)和卷积核作为参数，输出卷积特征图。这些特征图可以进一步用于分类、检测或其他计算机视觉任务。TensorBoard是一个强大的可视化工具，用于展示深度学习模型的各个方面。它可以展示模型的网络结构、参数分布、训练曲线以及图像、音频等媒体数据。通过使用TensorBoard，能够让研究人员和开发者可以更好地理解和调试模型，从而提高模型的性能和效果。
CNN的具体架构VGG
最新发布
weixin_57128596的博客
05-18 900
对于给定的感受野（与输出有关的输入图片的局部大小），采用堆积的小卷积核是优于采用大的卷积核，因为多层非线性层可以增加网络深度来保证学习更复杂的模式，而且代价还比较小（参数更少）。随着更多层的叠加，通过前一层提取的特征可以结合成更复杂的模式，如物体的部分和结构。使用三个3x3的卷积核代替一个7x7的卷积核可以显著减少参数的数量，一个7x7的卷积核包含49个参数，但是一个3x3的卷积核包含9个参数，三个则是27个参数，所以，通过使用三个3x3的卷积核，你减少了参数数量（49 vs 27），这意味着模型的。
基于transformers框架实践Bert系列2--命名实体识别
代码还是得自己扣
05-17 769
本系列用于Bert模型实践实际场景，分别包括分类器、命名实体识别、机器阅读、多选选择、文本摘要等等。（关于Bert的结构和详细这里就不做讲解，但了解Bert的基本结构是做实践的基础，因此看本系列之前，最好了解一下transformers和Bert等）本篇主要讲解命名实体识别应用场景。
深度学习之基于YoloV5钢材表面缺陷检测
2301_79810943的博客
05-18 966
一、项目背景与意义在钢铁生产过程中，钢材表面的缺陷检测是一个至关重要的环节。传统的检测方法往往依赖于人工视觉检测，这种方法不仅效率低下，而且容易受到人为因素的影响，导致检测结果的准确性和稳定性难以保证。随着深度学习技术的快速发展，基于深度学习的目标检测算法在图像识别领域取得了显著成果。其中，YoloV5（You Only Look Once version 5）作为一种高效且准确的目标检测算法，被广泛应用于各种实际场景中。
深度学习打卡实战第p7周咖啡豆识别
m0_55259388的博客
05-17 228
在训练模型时候，优化器选择adam，效果正常，测试集准确率可达99，而选用sgd时候，发现准确率恒定不变在22，查看了初始学习率为0.0001，修正为0.01，再次训练，效果较好。再次调回0.0001，不再固定，可能一开始陷入局部最优。整体训练效果较好，第一步使用pathlib查看类别名称验证能否与实际对应，使用imagefolder创建数据集,定义数据处理方式，然后可以.class查看分类，对数据集进行4：1划分，创建dataloder，到这里 数据集才算处理完成。
深度学习之基于YoloV7+OpenPose姿态识别系统
qq1744828575的博客
05-17 909
一、系统背景随着深度学习技术的快速发展，其在计算机视觉领域的应用也日益广泛。姿态识别作为计算机视觉的一个重要分支，对于人机交互、运动分析、动作捕捉、虚拟现实等领域具有重要意义。YOLOv7和OpenPose作为两种先进的深度学习算法，分别在目标检测和人体姿态估计方面表现出色。因此，结合YOLOv7和OpenPose的优势，构建基于YOLOv7+OpenPose的姿态识别系统，具有广阔的应用前景。二、系统组成。
TransformER
02-28
TransformER是一个基于Transformer模型的实体关系抽取器。它是由CSDN开发的C知道团队开发的，旨在从文本中自动提取实体和它们之间的关系。 Transformer是一种基于自注意力机制的神经网络模型，它在自然语言处理任务...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值