- 博客(5)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 深度学习之Swin Transformer学习篇(详细 - 附代码）
提出了一种新的vision Transformer，称为Swin Transformer，它可以作为计算机视觉的通用骨干。将Transformer从语言应用到视觉的挑战来自于这两个领域之间的差异，例如视觉实体规模的巨大差异以及与文本中的单词相比，图像中像素的高分辨率。为了解决这些差异，我们提出了一个分层的Transformer，它的表示是用移位窗口计算的。分层设计和移位窗口方法也被证明对所有mlp体系结构都是有益的。 首先将图片输入到Patch Partition模块中进行分块，即每4x
2024-10-04 16:20:59
1564
原创 深度学习之Vision Transformer (ViT)学习篇（简略）
图像分割成固定大小的补丁，线性嵌入每个补丁，添加位置嵌入，并将结果向量序列馈送到标准Transformer编码器。ViT模型利用Transformer模型在处理上下文语义信息的优势，将图像转换为一种“变种词向量”然后进行处理，而这种转换的意义在于，多个Patch之间本身具有空间联系，这类似于一种“空间语义”，从而获得了比较好的处理效果。数据集的原图像被划分为多个Patch后，通过Patch Embedding将二维Patch（不考虑channel）转换为一维向量，再加上类别向量与位置向量作为模型输入。
2024-10-04 16:20:31
962
原创 深度学习之Transformer模型及原理学习篇（详细！）
Transformer 与 RNN 不同，可以较好地并行训练Transformer 本身是不能利用单词的顺序信息的，因此需要在输入中添加 Positional Encoding 位置编码，否则 Transformer 就是一个词袋模型了Transformer 的重点是 Self-Attention 结构，其中用到的 Q, K, V 矩阵通过线性变换得到。
2024-09-27 19:17:02
1641
酒店管理系统使用eclipse，用到javaweb
2021-11-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人