transformer学习笔记II

最新推荐文章于 2024-08-14 11:06:19 发布

Wimbley

最新推荐文章于 2024-08-14 11:06:19 发布

阅读量2.7k

点赞数

文章标签： 1024程序员节 transformer 计算机视觉深度学习人工智能

本文链接：https://blog.csdn.net/superb_victor/article/details/120941350

版权

transformer做ocr任务

transformer的结构天然适合做seq2seq的学习任务，直觉上讲，格式标准的图像任务需要做一系列转换才能使用transformer任务，或者说在输入侧适配encoder。ocr任务包含解码的过程，因此在输出侧使用掩码可以适配transformer decoder。

看完datawhale 教程，最为tricky的一部分是作者观察到宽高1:1的原图范围内对应着3个英文字符，因此将图片宽高设置为3：1，保证经过resnet18 感受野降低32倍后能够使得feature map每个点（512维）对应一个英文字符。

暂时还未手撕代码，先挖个坑待填充。没有看懂在模型训练完成前后decoder操作机制的不同，在训练的时候可以用上三角矩阵mask attention，而在输出的时候是使用rnn的思路，不断输入隐变量然后argmax解码出来字符？如果是这样的话，又如何处理字符长度不定长的问题呢？

引用

datawhale transformer 做ocr教程

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Wimbley

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
transformer学习笔记II

transformer做ocr任务
复制链接

扫一扫

Transformer与OCR

dongfang1984的博客

05-10

1554

由于OCR是序列到序列，NMT或者通用的任务Transformer也是Sequence 2 Sequence。而OCR识别经典论文是CRNN，其中是CNN+RNN+softmax，这个RNN可以试试LSTM，GRU，或者其他变种。也可以是机器翻译的端到端的序列识别。本文试图分析Transformer与OCR任务，试图将Transformer替换CRNN中的LSTM LSTM与Transformer Transformer实际上是google的论文『attention is all you need』.

Transformer学习笔记

08-07

Tranformer源码

参与评论您还未登录，请先登录后发表或查看评论

transformers学习日记1

weixin_41215684的博客

08-18

206

transformers学习日记1transformers原理学习背景attention架构Self-Attention过程深度学习attention机制中的Q K V分别咋来的？ transformers原理学习背景 2017 年，Google 提出了 Transformer 模型，用 Self-Attention 的结构，取代了以往 NLP 任务中的 RNN 网络结构。2018 年 10 月，Google 发出一篇论文《BERT: Pre-training of Deep Bidirectional

李宏毅深度学习Transformer笔记

m0_61803871的博客

12-11

1443

记录了李宏毅老师的Transformer课程的笔记。

transformer学习笔记

潇潇客

10-19

790

transformer的作用：已经实现了语音和图像的通用技术。新一代的backbone，传统的深度学习依赖于网络结构的设计。2017年 transformer。Q：查询矩阵查询别人。V：数值矩阵特征表达。2018年 BERT。2020年 GPT3。2020年 DERT。

Vision transformer学习笔记

qq_36936443的博客

04-14

4840

1. transformer基本架构在了解cv中的transformer之前，我们先来复习一下transformer的基本架构 1.1 编码器与解码器我们可以将网络分成两个部分，编码器与解码器。编码器：将输入编程成中间表达形式（抽取特征）解码器：将中间表示（特征）解码成任务需要的输出从编解码的角度来理解神经网络，就是说我先通过编码器将原始数据编码成机器学习比较好理解的结构，再通过解码器解码成你需要的任务输出。对应到CNN，就是说前面使用卷积层进行...

Transformer学习笔记（一）

weixin_45971154的博客

03-13

1342

对于一个具有少量数据的任务 A，首先通过一个现有的大量数据搭建一个 CNN 模型 A，由于 CNN的浅层学到的特征通用性特别强，因此在搭建一个 CNN 模型 B，其中模型 B 的浅层参数使用模型 A 的浅层参数，模型 B 的高层参数随机初始化，然后通过冻结或微调的方式利用任务 A 的数据训练模型 B，模型 B 就是对应任务 A 的模型。每个编码器的深度都是两层 LSTM 叠加。只不过 Q的内容也是网络参数，需要学习获得，训练刚开始用随机值初始化矩阵 Q，当这个网络训练好之后，矩阵 Q 的内容被正确赋值，

Swin—Transformer学习笔记

weixin_45971154的博客

03-16

310

bias才是Attention中B的数值，我们训练的是bias table中的参数。二、Patch Merging。六、模型详细配置参数。

李宏毅 Transformer 学习笔记

热门推荐

herosunly的博客

07-04

1万+

1. self-attention 1.1 为什么要引入self-attention 基于RNN(LSTM)的序列模型来说，计算每个cell的输出无法进行并行化。而且单向的RNN无法很好的利用全局的信息。 self-attention的出现恰好解决了以上两大问题。其中x->a这一步貌似在论文中并没有体现。在求每一个output的时候，对应的q会对所有的k求内积（除以d\sqrt...

机器学习笔记-Transformer

08-03

Transformer语言模型是一种基于注意力机制的深度学习模型，它是在2017年由Google提出的，被广泛应用于自然语言处理领域。 Transformer模型主要由编码器和解码器组成，其中编码器将输入的文本序列转换为一组向量，...

transformer论文笔记及思维导图

03-12

transformer论文笔记及思维导图，自留。推荐下列课程【Transformer论文逐段精读【论文精读】】 https://www.bilibili.com/video/BV1pu411o7BE/?share_source=copy_web&vd_source=3028d9bd754f243aee4c850f06ac7fef ...

Pytorch、NLP学习笔记

03-01

《PyTorch与自然语言处理学习笔记》 PyTorch是一个强大的深度学习框架，由Facebook的AI研究团队开发，以其灵活性和易用性受到了广大研究人员和开发者们的喜爱。本笔记将深入探讨PyTorch在自然语言处理（NLP）领域的...

Python Transformer模型笔记.md

08-17

### Python Transformer模型笔记 #### 一、Transformer模型的背景与思想 ##### 1.1 背景与起源 Transformer模型是由Vaswani等人在2017年的论文《Attention is All You Need》中首次提出的。这篇论文的发表标志着...

国外项目管理软件最佳实践：选型与应用

柚橙论

08-13

1016

在选择适合自己团队的项目管理软件时，了解各种工具的功能、优势和适用场景至关重要。从Asana的灵活性到Trello的直观看板，再到Monday.com的强大定制功能，每款软件都有其独特之处，可以满足不同类型项目和团队的需求。通过本文的介绍，希望您能对这些工具有了更深入的了解，并能够根据自己的实际需求做出明智的选择。无论您的团队规模如何，选择正确的项目管理工具都将是提升工作效率和项目成功率的关键一步。在数字化快速发展的今天，利用合适的项目管理软件，不仅可以优化工作流程，还可以激发团队潜力，推动业务持续发展。

强！小目标检测全新突破！检测速度快10倍，GPU使用减少73.4%

最新发布

08-14

753

强！小目标检测全新突破，提出Mamba-in-Mamba结构，通过内外两层Mamba模块，同时提取全局和局部特征，实现了检测速度快10倍，GPU使用减少73.4％的显著效果！【小目标检测】是近年来在深度学习领域中备受关注的一项技术，它通过提高模型在检测图像或视频中小尺寸目标的能力，显著提升了检测精度和鲁棒性。小目标检测技术已经在遥感图像分析、视频监控和自动驾驶等多个领域取得了显著成果，其独特的方法和有效的表现使其成为研究热点之一。

数学工具 -- 均值滤波计算之python cv2.boxFilter用法

sz66cm 学习随笔

08-13

234

是 OpenCV 库中的一种图像滤波函数，用于对图像应用均值滤波器。均值滤波是一种低通滤波器，它将图像中的每个像素值替换为该像素周围一个矩形区域内所有像素值的平均值。这个滤波器可以用于图像的平滑处理，减少噪声。参数说明：输入图像。可以是多通道或单通道图像（如灰度图或彩色图像）。：输出图像的深度。可以是以下之一：：滤波器的大小（宽度，高度），例如表示滤波器为 5x5 的大小。：输出图像，可选。如果没有提供，函数会创建一个与大小相同的输出图像。：锚点位置，指定滤波器的中心点。默认值表示锚点位

救生衣穿戴检测算法的功能优势与应用场景

yangbisheng1121的博客

08-12

803

在水上活动和海上作业中，救生衣的正确穿戴是保障生命安全的基本要求。然而，人工检测救生衣穿戴情况的方式存在效率低、易出错等问题，尤其在大规模人群或复杂环境中，更难以保证实时监控的有效性。因此，利用视觉分析技术开发救生衣穿戴检测算法，成为提高安全管理水平的重要手段。随着人工智能和计算机视觉技术的飞速发展，智能监控系统在各类安全管理场景中的应用越来越广泛。尤其是在需要实时监控与快速响应的场景中，视觉分析技术以其高效、精准的特点，成为了传统监控手段的有力补充。救生衣穿戴检测算法，正是在这种背景下应运而生。

李宏毅transformer笔记

08-22

李宏毅是一位著名的机器学习和深度学习专家，他在教学视频中也提到了Transformer模型。下面是一些关于李宏毅关于Transformer的笔记总结： 1. Transformer 是一种基于注意力机制（attention mechanism）的序列到序列（sequence-to-sequence）模型。它在自然语言处理任务中取得了很大的成功。 2. Transformer 模型的核心思想是完全摒弃了传统的循环神经网络（RNN）结构，而是采用了自注意力机制（self-attention mechanism）来建模输入序列之间的依赖关系。 3. 自注意力机制能够将输入序列中的每个位置与其他位置建立联系，从而捕捉到全局上下文的信息。它能够解决传统的RNN模型在处理长序列时的梯度消失和梯度爆炸问题。 4. Transformer 模型由编码器（Encoder）和解码器（Decoder）两部分组成。编码器负责将输入序列表示为高维向量，解码器则根据编码器的输出生成目标序列。 5. 编码器和解码器由多个层堆叠而成，每一层都包含了多头自注意力机制和前馈神经网络。多头自注意力机制可以并行地学习输入序列中不同位置之间的关系。 6. Transformer 模型还引入了残差连接（residual connection）和层归一化（layer normalization）来帮助模型更好地进行训练和优化。这些是李宏毅关于Transformer的一些主要笔记总结，希望对你有所帮助。注意，这些总结仅代表了我对李宏毅在其教学视频中所讲述内容的理解，如有误差请以李宏毅本人的观点为准。