transformer在CV上的应用学习笔记

已于 2023-03-25 16:30:05 修改
阅读量204 收藏
点赞数 1
分类专栏： 深度学习 文章标签： 学习
于 2022-11-23 00:11:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ThomasCai001/article/details/127992583
版权

transformer在CV中的应用，主要把图片分成patch，然后每个图像标记位置编码，然后取一个值分别跟patch转换成的向量做运算，得到这张图片的整体特征。
优点是：性能好；
缺点是：耗数据；
参考：https://www.bilibili.com/video/BV1xe41157rk?p=2&vd_source=82b50e78f6d8c4b40bd90af87f9a980b
在这里插入图片描述

Thomas_Cai
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Deep_Learning_Agriculture:在农业应用中应用深度学习
04-19
深度学习在农业领域的应用正在不断改变传统农业的面貌，它结合了计算机视觉、大数据和机器学习等技术，为精准农业提供了强大的工具。本项目聚焦于如何利用深度学习解决农业中的实际问题，通过预处理数据、构建模型并...
深度学习 Transformer机制
Fantastic
10-30 6103
Transformer
transformer中patch与token？
热门推荐
简单记录生活、学习
01-11 1万+
在文章以及代码中经常会出现patch与token，那么他们之间的关系到底是什么呢？ token包含：class token、patch token，在NLP叫每一个单词为token，然后有一个标注句子语义的标注是CLS，在CV中就是把图像切割成不重叠的patch序列（其实就是token） 通过上图我们看到，embedding后，有三个token，分别是class token，patch token，distillation token，其中 distillation token我们不需要关注，因
Transformer——patch embedding代码
qq_42740834的博客
05-27 6950
简单版ViT（无attention部分） 主要记录一下Patch Embedding怎么处理和了解一下vit的简单基本框架，下一节写完整的ViT框架 图像上的Transformer怎么处理？如图 图片—>分块patch---->映射（可学习）---->特征 整体网络结构： 实践部分： Patch Embedding用于将原始的2维图像转换成一系列的1维patch embeddings Patch Embedding部分代码： class PatchEmbedding(nn.Modu
Transformer前沿——语义分割
qq_42096890的博客
05-31 1万+
Transformer在语义分割领域的发展
视觉transformer图片处理思路
haohulala的博客
04-19 9444
我们知道，transformer要求将图片分为patch，然后输入网络进行计算，那么我们就需要将二维的图片处理成一维的embeding形式，今天我来给大家介绍一下图片处理的思路。 我们演示一下处理下面这张图片 我们将图片按照16*16的大小进行分片，得到的结果如下图所示 接下来我们需要将patch变成tensor。在此之前先介绍一下传统CNN图片处理和transformer图片处理之间的区别 我们可以看到，传统CNN图片处理得到的向量是三维的，而transformer图片处理得到的向量是
An Image is worth 16x16 Words: Transformer for image recognition
12-31
在深度学习领域，尤其是计算机视觉（CV）和自然语言处理（NLP）中，Transformer架构已经产生了深远影响。本文“An Image is worth 16x16 Words: Transformer for image recognition”是2021年发表于ICLR的一篇重要...
深度学习笔记.zip
最新发布
05-08
这本"深度学习笔记"可能包含了从基础知识到高级应用的全面讲解，旨在帮助读者理解和掌握深度学习的核心概念与技术。 在深度学习中，基础概念包括神经网络、反向传播、损失函数和优化算法。神经网络是由多个处理单元...
AI大模型学习笔记一.zip
09-01
这些模型具有巨大的参数量，能够处理复杂的任务，如自然语言处理（NLP）、计算机视觉（CV）和语音识别等。本学习笔记将深入探讨AI大模型的核心概念、技术特点、训练方法以及实际应用。 一、大模型概述 AI大模型，...
AI大模型学习笔记五.zip
09-01
大模型，尤其是预训练模型，已经成为AI研究和应用的热点，它们在自然语言处理（NLP）、计算机视觉（CV）等多个领域展现出了强大的能力。这篇学习笔记将深入探讨大模型的核心概念、训练方法以及实际应用。 首先，...
TensorFlow patch块划分（transpose and reshape）
Beryl的博客
02-23 1315
使用transformer处理图像数据，需要照特定格式对矩阵分块，并拉伸flatten，在完成最后的卷积后，需要重新将token的channel重新reshape成图像格式。类似下图，将输入首先分块，然后拉伸为NxC的vector，然后重新reshape为图像格式，这里使用一通道简要说明。 小代码 def reshape(): h = 6 a = tf.random_uniform([h,h],maxval=40,dtype=tf.int32) b = tf.resh.
语义分割任务中的Transformer
记录
10-15 4572
Transformer在语义分割领域的研究和思考
第6周学习：Vision Transformer &amp； Swin Transformer
chemingmei的博客
08-18 256
第6周学习：Vision Transformer & Swin Transformer
Tesla AI day中感知部分的详细解析（一）——Transformer在图像领域的应用
liu3612162的博客
11-07 4028
最近针对特斯拉AI day2022内容进行了初步的了解，三个小时的发布会涵盖了方方面面的内容，其中基于纯视觉和深度学习的BEV感知升级版Occupancy Network形成的3D感知系统着实让人惊艳，而想要了解Occupancy Network，必须先了解其前身BEV感知，而其中一大关键点是参考了Transformer的网络结构对不同时空的数据输入进行处理，本系列文章主要针对相关技术从源头开始解析，由于个人技术能力有限，不可能面面俱到，仅当作抛砖引玉了。
目标检测之COCO评价指标
Thomas_Cai的记忆殿堂
09-04 1万+
一、基础概念 TP: IoU>0.5的检测框数量（同一Ground Truth只计算一次） FP: IoU<=0.5的检测框，或者是检测到同一个GT的多余检测框的数量 FN: 没有检测到的GT的数量 Precision: TP / (TP + FP) Recall: TP / (TP + FN) PR曲线: Precision-Recall曲线 AP: PR曲线下面积 mAP: mean Average Precision, 即各类别AP的平均值 二、AP、mAP、AR、mAR计算 AP
caffe.pb.h丢失问题解决方法
Thomas_Cai的记忆殿堂
12-30 1万+
错误提示 fatal error: caffe/proto/caffe.pb.h: No such file or directory #include "caffe/proto/caffe.pb.h" 一、有可能是make太快造成的错误 make all -j 改为 make all 试试 二、否则就是丢失问题了 解决方法： 用protoc从...
Conda环境搭建以及激活
Thomas_Cai的记忆殿堂
02-06 1万+
0. 前言 conda可以创造出不同的环境空间，满足多python或不同的依赖包版本的快速切换，通俗的来说，可以直接切换环境。 1. 环境准备 先界面话安装anaconda3 2. 创建环境 conda create -n pytorch python=3.6 注：创建名称为pytorch，python版本为3.6的环境 3. 激活以及切换环境 conda activate pytorch 4. 退出环境 conda deactivate ...
（2018/4/7更新资源链接）Ubuntu14.04上配置caffe经验总结（含GPU）
Thomas_Cai的记忆殿堂
10-19 4631
-----------------2016/10/27更新----------------------------- 参考链接，感谢原作者！ http://blog.csdn.net/enjoyyl/article/details/47397505 http://blog.sina.com.cn/s/blog_51fad6900102wlmx.html 笔者在双系统ubuntu...
目标检测资源合集
Thomas_Cai的记忆殿堂
03-19 3379
目标检测经典算法合集，R-CNN Fast R-CNN Faster R-CNN SSD YOLO系列，持续更新。
Transformer如何应用在计算机视觉上的
05-26
Transformer最初是为了解决自然语言处理中的序列到序列任务而提出的，但是它也可以应用到计算机视觉任务上。在计算机视觉中，Transformer主要应用于图像分类、物体检测和图像分割等任务。 具体来说，在图像分类任务...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Thomas_Cai

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值