视觉Transformer学习记录

最新推荐文章于 2024-07-22 14:10:07 发布
最新推荐文章于 2024-07-22 14:10:07 发布
阅读量149 收藏 2
点赞数 3
分类专栏： 三维点云处理学习 文章标签： transformer 学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43583311/article/details/137492696
版权

此为Transformer学习记录，分享本人所找到的较好的课程、博客等供记录交流。

原始transformer用于NLP领域：1.从全局角度概括Transformer_哔哩哔哩_bilibili

看完视频后看：Transformer学习笔记一：Positional Encoding（位置编码） - 知乎 (zhihu.com)

此博主和视频解析思路一致，分块讲解其中各部。

视觉transformer: VIT ViT论文逐段精读【论文精读】_哔哩哔哩_bilibili

已经对其有了较为很好的了解。

挑选最新或最关注领域的模型参考此篇综述：最新综述！一文详解视觉Transformer在CV中的现状、趋势和未来方向（分类/检测/分割/多传感器融合） - 知乎 (zhihu.com)

Swin Transformer :Swin Transformer论文精读【论文精读】_哔哩哔哩_bilibili

语义分割TRM ：TransUNet segformer PVT 

木木要早睡
关注
  • 3
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
为何Transformer在计算机视觉中如此受欢迎？.pdf
04-21
随着深度学习的发展，Transformer模型在自然语言处理（NLP）领域中的成功应用，逐渐引起了计算机视觉（CV）领域的关注。Transformer模型的优异性能和灵活性，使其在CV领域中的应用具有广阔的前景。 首先，...
搞懂 Vision Transformer 原理和代码系列
01-19
Vision Transformer（ViT）是深度学习领域中一个重要的突破，特别是在计算机视觉任务上。这个模型由Google的研究者提出，它打破了传统的卷积神经网络（CNN）在图像处理上的主导地位，引入了Transformer架构来处理...
An Image is worth 16x16 Words: Transformer for image recognition
12-31
在深度学习领域，尤其是计算机视觉（CV）和自然语言处理（NLP）中，Transformer架构已经产生了深远影响。本文“An Image is worth 16x16 Words: Transformer for image recognition”是2021年发表于ICLR的一篇重要...
2018_Image Transformer.pdf
09-26
这篇工作展示了自注意力机制在处理复杂视觉任务时的强大潜力，为机器学习和计算机视觉领域的研究提供了新的方向和启示。通过结合自注意力与图像处理，研究人员能够开发出更高效、更高质量的图像生成模型。这不仅有助...
AI Paper阅读记录与收藏：机器学习/深度学习/自然语言处理/计算机视觉/智能语音/推荐系统/知识图谱
11-15
Transformer Attention机制&指针网络&记忆网络&深度图灵机 1.2 强化学习 强化学习 1.3 对抗攻击 对抗攻击 1.4 GAN 1.5 图神经网络 图神经网络 1.6 Meta Learning Meta Learning 1.7 迁移学习 迁移学习 1.8 领域适应 ...
编程学习之路：从零到一的成长指南
最新发布
KsuferNotes
07-22 288
在当今数字化时代，编程技能已经成为许多人职业发展的重要组成部分。不论你是已经在IT业从业多年的老手，还是刚刚起步的编程新手，这篇博客将带你走过编程学习的每一个重要阶段，从而顺利完成从零到一的华丽转变。
昇思25天学习打卡营第14天|LLM-文本解码原理--以MindNLP为例
wwt72的博客
07-17 935
限制输出序列的最大长度为50个token。top-p=0.95，top-p采样表示在每一步生成token时，只从概率分布中累计概率达到95%的token中进行采样，有助于保持生成文本的流畅性和质量，同时允许一些低概率的token被选中，从而增加多样性。表示禁用了top-k采样，因为在top-k采样中，通常是从概率最高的k个token中随机选择一个token作为下一个输出，而这里设置为0表示不限制token的选择，实际上这将等同于使用 softmax 概率分布直接进行采样。这有助于提高生成文本的多样性。
kubernetes学习日志（七）
qq_47037022的博客
07-18 618
本文记录了service管理，ingress管理，Dashboard管理插件，集群鉴权策略，角色与全局角色，赋权与全局角色赋权。
纯前端小游戏，4096小游戏，有音效，Html5，可学习使用
m0_62996549的博客
07-18 548
【代码】纯前端小游戏，4096小游戏，有音效，Html5，可学习使用。
手写简易版Spring IOC容器02【学习】
weixin_44794897的博客
07-19 569
其中applyPropertyValues用于从beanDefinition中读取属性的配置信息然后通过BeanUtil(hutool-all中提供的类)为其赋值@Overridetry {// 创建bean实例Class<?if (null!break;// 设置属性值try {// 从beanDefinition中获取property通过Resource获取文件流。
昇思25天学习打卡营第16天|munger85
MungerVC
07-20 430
MobileNet网络是由Google团队于2017年提出的专注于移动端、嵌入式或IoT设备的轻量级CNN网络，相比于传统的卷积神经网络首先安装依赖下载数据。
从0开始的STM32HAL库学习6
hwq_1229_0525的博客
07-21 261
配置红色框图中的各种配置时钟源选择外部时钟 21.预分频器Prescaler，下面填0，不分频2.计数模式，计数模式选择为向上计数3.自动重装寄存器，自动重装计数器填为10，计数到10后清空并出发中断4.滤波器的频率分频：不使用影子寄存器。
javaScrip的学习（一）
weixin_65450681的博客
07-19 1273
这篇文章让我们简单来了解一下js，那么什么是js?JavaScript（简称JS）是一种高级编程语言，主要用于为网页添加交互功能。它可以嵌入到HTML页面中，通过对DOM（文档对象模型）的操作来实现动态效果和用户交互。JavaScript由Netscape公司的Brendan Eich于1995年创造，最初是为了增强HTML页面的功能性。随着时间的推移，JavaScript逐渐演变成一种通用的编程语言，可以在浏览器以外的环境中运行，例如服务器端的Node.js。
huawei USG6001v1学习--防火墙相关知识（1）
m0_65350813的博客
07-19 419
防火墙主要是借助硬件和软件的作用于内部和外部网络的环境间产生一种保护的屏障，从而实现对计算机不安全网络因素的阻断。
《书生大模型实战营第3期》入门岛 学习笔记与作业：Python 基础知识
shiter编写程序的艺术
07-21 966
python开发简介：【集成开发环境 IDE】python开发简介：【Conda，Pip】虚环境搭建、配置python开发简介：【jupyter notebook】实战配置python开发简介： 编码规范与工程基础实践使用 jupyter hub /lab搭建机器学习工作台使用跨平台的visual studio code 进行python 开发（综合内容老版本）python 开发环境搭建（综合内容老版本）其实Python 的环境配置在所有编程技术栈中是相对简单的，由于conda，pip 的存在。
昇思25天学习打卡营第30天 | 文本解码原理--以MindNLP为例
嫦娥妹妹等等我的博客
07-22 731
学习MindNLP进行文本解码的经验为我揭示了自然语言处理中文本生成技术的复杂性与美妙之处。通过使用MindNLP库，我能够深入理解并实践如何基于预训练的GPT2模型生成文本，特别是学习如何控制生成过程，从贪婪搜索到Beam搜索，再到采样技术，每种方法都有其独特的优势和适用场景。
FastAPI（六十五）实战开发《在线课程学习系统》基础架构的搭建
mr~li的博客
07-19 210
接下来我们的开发只需要关注主逻辑的处理即可，准备放到对应的crud.py和schemas.py文件中，其中crud主要是逻辑处理详细代码，schemas中主要是参数模型以及响应结果模型。在之前三篇，我们分享的就是需求的分析，基本接口的整理，数据库链接的配置。放所有中间件的地方，比如mysql，redis，mongodb等（主要是数据库操作相关）数据库表模型放在这里（你也可以把数据库相关的都放在这个目录下）之前配置的链接mysql数据库的配置放在对应的database.py中。通用目录，放一些通用的处理。
数据库内核研发学习之路（四）创建postgres拓展函数
ai_d_d的博客
07-20 658
紧接上章，熟悉postgres的都知道，它支持很多拓展，例如gist拓展、pg_top拓展之类，这些拓展是postgres拓展功能重要方法之一，下面就以例子实现拓展函数。
大模型学习笔记 - LLM 预训练
m0_37531129的博客
07-21 819
LLM 模型预训练 LLM 模型预训练 1. 预训练任务 2. 优化参数设置 2.1 基于批次数据的训练 2.2 学习率 2.3 优化器 2.4 稳定优化技术 3. 可扩展的训练技术 3.1 3D并行训练 3.2 零冗余优化器 3.3 激活重计算 3.4 混合精度训练 4. 模型参数量计算与效率分析 4.1 参数量估计 4.2 训练运算量估计 4.3 训练时间估计 4.4 训练显存估计 5. 预训练代码实践 1. 预训练任务 常用的预训练任务主要分为三类：语言建模(Languag
视觉transformer发展史
08-17
自Vision Transformer（ViT）在2020年推出以来，计算机视觉的研究重点逐渐转向了Transformer模型。ViT在图像分类任务上取得了先进的结果，但在视觉下游任务，如对象检测和分割方面的表现相对较差。然而，随着Swin Transformers的引入，Vision Transformer也开始在视觉下游任务中发挥作用。 除了ViT和Swin Transformers，还有其他的Transformer模型在计算机视觉领域得到了广泛的研究和应用。其中，有关Transformer的综述文章提供了对Transformer发展历程、基本结构和原理的详细介绍和学习笔记。这些学习笔记涵盖了高效Transformer、计算机视觉的自注意力以及Transformer的总结和展望等主题。 综上所述，视觉Transformer在计算机视觉领域的发展经历了从ViT到Swin Transformers的转变，并且还有其他Transformer模型得到了广泛的关注和研究。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [从感知机到Transformer：一文概述深度学习发展史！](https://blog.csdn.net/Charmve/article/details/125214268)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [阅读学习笔记（二）-- transformer在计算机视觉领域的发展和应用](https://blog.csdn.net/sazass/article/details/123398441)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

木木要早睡

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值