【Pytorch小知识】torch.roll()函数的用法及在Swin Transformer中的应用(详细易懂)

最新推荐文章于 2024-07-12 11:06:41 发布
最新推荐文章于 2024-07-12 11:06:41 发布
阅读量391 收藏 8
点赞数 3
文章标签： pytorch transformer 人工智能 大语言模型 ai大模型 自然语言处理 计算机技术
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/python123456_/article/details/140290126
版权
文章目录
  • torch.roll()的官方文档
    • 函数形式及参数说明
    • 举个例子
  • torch.roll()的应用
    • 具体步骤

torch.roll()的官方文档

函数形式及参数说明

在这里插入图片描述
函数形式：torch.roll(input,shifts,dims=None）
参数解释：

  • input:输入张量
  • shifts:滚动的方向和长度，若为正，则向下滚动；若为负，则向上滚动。可是一个整数也可以是一个元组。(具体见下面例子)
  • dims:张量按什么维度滚动。以二维为例，0就是按行上下或者下上(shifts为负)滚动；1就是左右或者右左(shifts为负)。可以是整数或元组。

举个例子

下面我们通过官方给出的例子加以讲解。
在这里插入图片描述

  • x是一个定义好的4×2张量
  • torch.roll(x,1,0):shifts=1，代表正向(向下)滚动1格，dims=0代表按行滚动。于是，[1,2]就到了第二行，[7,8]就到了第一行。以此类推。
  • torch.roll(x,-1,0):shifs=-1，代表负向(向上)滚动1个，dims=0代表按行滚动。于是就有了与上一步相反的结果，每行都同步上移了一格。
  • torch.roll(x,shifts=(2,1),dims=(0,1)):元组形式传参，那就是先按行正向滚动2格，再按列正向(左右)滚动1格。见如下过程：

x是这样的4×2张量:
[ 1 2 3 4 5 6 7 8 ] \left[ \begin{matrix} 1 & 2 \\ 3 & 4 \\ 5 & 6 \\ 7 & 8 \\ \end{matrix} \right] ​1357​2468​ ​
shifts=2，dims=0后:
[ 5 6 7 8 1 2 3 4 ] \left[ \begin{matrix} 5 & 6 \\ 7 & 8 \\ 1 & 2 \\ 3 & 4 \\ \end{matrix} \right] ​5713​6824​ ​
shifts=1，dims=1后：
[ 6 5 8 7 2 1 4 3 ] \left[ \begin{matrix} 6 & 5 \\ 8 & 7 \\ 2 & 1 \\ 4 & 3 \\ \end{matrix} \right] ​6824​5713​ ​

torch.roll()的应用

Swin Transformer中的shifted window partition操作中更有效地计算自注意力的方法。在实现cyclic shift时要用到torch.roll()。
在这里插入图片描述

具体步骤

假设原图window partition是个4×4tensor：
在这里插入图片描述
接下来要实现上图中所示的A、B、C变换，即1到右下角；5，9，13到1的上面；2，3，4到1的左边；其他元素相对位置不变。那么可以通过以下两步实现：
在这里插入图片描述
在这里插入图片描述
这样就完成了cyclic shift。

若要完成reverse cyclic shift，则将对应的shifts改成正数即可实现。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示（Embeddings）
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
爱喝白开水a
关注
  • 3
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
信息抽取新SOTA！首个结构化生成式信息抽取预训练模型，一统信息抽取四大任务...
Paper weekly
04-08 1851
©PaperWeekly 原创 ·作者 | 樊润泽单位 | 中科院计算技术研究所研究方向 | 信息抽取前两天在 arxiv 刷到了一篇已被 ACL 2022 主会接受的文章，题名《Unified Structure Generation for Universal Information Extraction》，简单看了摘要后整个震惊。作者采用生成式 text to s...
TensorFlow相关组件的安装
AAI666666的博客
01-11 924
TensorFlow相关组件的安装
GLM-4-9B 支持 Ollama 部署
最新发布
Andy_shenzl的博客
07-12 678
它提供了一个简单而高效的接口，用于创建、运行和管理这些模型，同时还提供了一个丰富的预构建模型库，可以轻松集成到各种应用程序中。通过Ollama，用户可以方便地部署和运行GLM-4-9B 等开源的大语言模型。此外，Ollama还提供了包括网页、桌面应用和终端界面在内的多种互动方式，方便用户使用和管理这些模型。在语义、数学、推理、代码和知识等多方面的数据集测评中， GLM-4-9B 在各项能力上均表现出卓越的能力。该模型是在 GLM-4-9B 基础上持续训练的多语言代码生成模型，显著提升了代码生成能力。
大模型训练数据
qq_40500099的博客
06-25 739
对LLM的数据进行探讨
七大数据分析模型详解，做分析不再没思路
BeWorkingMan的博客
06-24 2864
在进行数据分析过程中，我们通常需要使用各种模型来证明自己的分析观点，使自己的结论更具备说服力，同时也让自己的论证思路更具备逻辑性和条理性。
浅谈Pytorch中的torch.gather函数的含义
09-18
在PyTorch中，`torch.gather`是一个非常实用的函数，它允许用户根据提供的索引从源张量中收集值，并将这些值沿指定维度组织到一个新的张量中。这个函数在处理某些特定的数据操作时，如多分类问题中的预测结果提取，...
pytorch中torch.max和Tensor.view函数用法详解
12-23
torch.max()简单来说是返回一个tensor中的最大值。 例如： >>> si=torch.randn(4,5) >>> print(si) tensor([[ 1.1659, -1.5195, 0.0455, 1.7610, -0.2064], [-0.3443, 2.0483, 0.6303, 0.9475, 0.4364], [-1.5268...
PyTorch里面的torch.nn.Parameter()详解
09-18
本文将深入探讨`torch.nn.Parameter()`的作用、使用方法以及它在构建神经网络模型时的重要性。 首先，`torch.nn.Parameter()`的主要功能是将一个普通的张量（Tensor）转化为可训练的参数。当一个张量通过`torch.nn....
浅谈pytorch中torch.max和F.softmax函数的维度解释
12-17
在PyTorch中，`torch.max`和`F.softmax`是两个非常重要的张量操作函数，它们在神经网络和机器学习任务中有着广泛的应用。理解这两个函数的维度处理方式是至关重要的，因为正确的维度选择直接影响到计算结果的正确性...
玩转AI，笔记本电脑安装属于自己的Llama 3 8B大模型和对话客户端
老牛啊
05-12 1649
2024 年 4 月 18 日，Meta**开源**了 Llama 3 大模型，把 AI 的门槛降低到了最低，这是人工智能领域的一个重要飞跃。我们个人也可以部署大模型了，这简直就是给个人开发者发了个大红包！Llama 3 模型有不同的参数版本，本文主要分享我在个人笔记本电脑是部署 8B 参数过程和编写客户端，让我们大家都参与进来，推动 AI 应用更上一层楼……
大数据：AI大模型对数据分析领域的颠覆（文末送书）
笑看风云路的博客
08-26 3895
AI大模型正在成为数据分析领域的颠覆者，改变我们对数据分析的认知和方式。通过自然语言对话，普通人可以轻松地进行数据分析，无需编写复杂的代码。这一技术的出现有望缩小技术鸿沟，让更多人能够参与到数据驱动的决策中来。
[Pytorch]知识---torch.roll
我亦无他，唯手熟尔
04-20 233
[Pytorch]知识---torch.roll
【0-2】基于CNN的信息抽取模型
keep_psychology的博客
05-11 1317
一、什么是信息抽取？ 信息抽取(Information Extraction, IE)是从自然语言文本中抽取实体、属性、关系及事件等事实类信息的文本处理技术，是信息检索、智能问答、智能对话等人工智能应用的重要基础，一直受到业界的广泛关注。（来自百度公司官方） 二、简要介绍一下基于CNN的关系抽取模型： 在此之前，关系抽取领域中多采用基于机器学习的方法，这些机器学习的方法依赖于手动提取的特征。而我们手动提取的特征来自于NLP系统或工具，这些工具难免有其局限性，会带入错误，这些错误会在关系抽取的任务中传播。
pytorch 笔记 torch.roll
qq_40206371的博客
09-24 149
向某个方向滑动。
UIE: 信息抽取的大一统模型
shawroad的博客
07-24 5003
信息抽取通常包含常见的四个子任务: 实体抽取、关系抽取、事件抽取以及情感分析等。在过去，因为不同的任务识别的实体、事件类型等等都不一样，所以针对特定的任务要训练特定的模型，定制化较高，不具有通用性。...
文心问数Sugar Bot ：大模型+BI，多轮会话自动生成可视化图表与数据结论
Foolforuuu的博客
08-23 4513
Sugar BI 的文心问数功能是基于大语言模型实现的，支持您使用自然语言，通过多轮会话的方式，获取实时数据的图表展现，也可以自动为您总结与图表相关的业务结论。文心问数适用的场景有两个，分别是：场景1、文心问数页面，常用于业务最新情况的数据洞察。您可以在这个页面以问答的交互形式，向Sugar BI 提出业务问题，Sugar BI 将以图表的形式返回答案及业务结论。场景2、辅助您在报表/大屏的编辑页面进行页面编辑。
发布即疯传！李宏毅深度学习中文教程全面上新！附2024年最新修订版PDF
学姐带你玩AI的博客
04-18 960
他以其幽默和生动的教学风格，让那些复杂难懂的机器学习概念变得易于消化。更赞的是，他的课程全程用中文讲解，为我们中文学习者提供了超大的便利！这套教程覆盖了从机器学习基础、深度学习基本概念，到卷积网络、循环神经网络、扩散模型、Transformer等共计19个章节，内容不仅全面，还特别降低了学习难度。每个公式都附有详细的推导过程，同时提供了丰富的可视化示例。强烈推荐给所有对机器学习感兴趣的朋友们！今天就给大家推荐我最近发现的一套两周前刚更新的教程，是。不论你处于哪个阶段，这些资料都对你的学习大有作用。
笔记本上打造专属的LLama3聊天机器人
sgzqc的专栏
05-01 1332
LLama3打造专属机器人
用pytorch搭建Swin Transformer
03-27
Swin Transformer是一种高效的Transformer架构，适用于图像分类、目标检测等计算机视觉任务。在本文中，我们将使用PyTorch实现Swin Transformer。 首先，我们需要安装PyTorch和其他必要的库： ``` pip install torch torchvision pip install einops pip install timm ``` 接下来，我们将定义Swin Transformer模型。我们将使用timm库中提供的预训练模型作为基础模型，并在其上添加我们自己的头部。我们将使用Swin-L模型，其中L表示层数。这里我们定义一个函数来实现这个过程： ```python import torch.nn as nn import timm from einops.layers.torch import Rearrange def build_swin(num_classes): model = timm.create_model('swin_large_patch4_window12_384', pretrained=True) model.head = nn.Sequential( nn.AdaptiveAvgPool2d((1, 1)), Rearrange('b c h w -> b (c h w)'), nn.Linear(1024, num_classes) ) return model ``` 在这个函数中，我们首先使用`timm.create_model`加载预训练的Swin-L模型。然后，我们替换模型的头部，使用AdaptiveAvgPool2d对特征图进行平均池化，然后使用Rearrange层将特征图重排列为(batch_size, features)的形状，最后使用一个全连接层将其映射到类别数量。 接下来，我们将定义训练和测试函数。在训练函数中，我们将使用交叉熵损失和随机梯度下降优化器进行训练。在测试函数中，我们将计算模型在测试集上的准确率。 ```python import torch.optim as optim def train(model, train_loader, test_loader, criterion, optimizer, num_epochs=10): for epoch in range(num_epochs): model.train() for i, (images, labels) in enumerate(train_loader): optimizer.zero_grad() outputs = model(images) loss = criterion(outputs, labels) loss.backward() optimizer.step() model.eval() correct = 0 total = 0 with torch.no_grad(): for images, labels in test_loader: outputs = model(images) _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == labels).sum().item() accuracy = 100 * correct / total print('Epoch [{}/{}], Accuracy: {:.2f}%' .format(epoch + 1, num_epochs, accuracy)) def test(model, test_loader): model.eval() correct = 0 total = 0 with torch.no_grad(): for images, labels in test_loader: outputs = model(images) _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == labels).sum().item() accuracy = 100 * correct / total print('Accuracy: {:.2f}%'.format(accuracy)) ``` 最后，我们将加载数据集并开始训练和测试模型： ```python import torchvision.transforms as transforms import torchvision.datasets as datasets from torch.utils.data import DataLoader # Define transforms transform = transforms.Compose([ transforms.Resize((384, 384)), transforms.ToTensor(), transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)) ]) # Load data train_dataset = datasets.ImageFolder('train', transform=transform) test_dataset = datasets.ImageFolder('test', transform=transform) # Define data loaders train_loader = DataLoader(train_dataset, batch_size=32, shuffle=True) test_loader = DataLoader(test_dataset, batch_size=32, shuffle=False) # Build and train model model = build_swin(num_classes=2) criterion = nn.CrossEntropyLoss() optimizer = optim.SGD(model.parameters(), lr=0.001, momentum=0.9) train(model, train_loader, test_loader, criterion, optimizer, num_epochs=10) # Test model test(model, test_loader) ``` 在这个例子中，我们使用了一个二分类任务，我们将数据集分为train和test两个文件夹中，每个文件夹包含两个文件夹，分别是类别1和类别2的图像。我们使用了384x384的输入大小，并训练了10个epoch。在测试集上，我们获得了97.50%的准确率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值