torch 将图像分成patch

最新推荐文章于 2024-05-03 11:07:56 发布
最新推荐文章于 2024-05-03 11:07:56 发布
阅读量3.2k 收藏 7
点赞数 3
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/f9547064141/article/details/120311439
版权

img 原始shape=（3，256，256）

img = img.view（3，4，64，4，64）
img = img.permute(1,3,0,2,4)

此时img[i][j] 0<=i<4,0<=j<4代表每一个patch

其实在VIT中不用直接分patch，用一个conv就可以解决，例如输入图像224224，分成1414个patch，每个patch就是16*16。那么conv的卷积核尺寸为16，步长为16就解决了。

偷摸学习的山哥
关注
  • 3
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
基于卷积自编码器和图像金字塔的布料缺陷检测python源码.zip
07-10
基于卷积自编码器和图像金字塔的布料缺陷检测python源码.zip 【资源介绍】 该项目是个人毕设项目，答辩评审分达到95分，代码都经过调试测试，确保可以运行！欢迎下载使用，可用于小白学习、进阶。 该资源主要针对计算机、通信、人工智能、自动化等相关专业的学生、老师或从业者下载使用，亦可作为期末课程设计、课程大作业、毕业设计等。 项目整体具有较高的学习借鉴价值！基础能力强的可以在此基础上修改调整，以实现不同的功能。 基于论文《An Unsupervised Learning Based Approach for Automated Defect Inspection on Textured Surfaces》进行复现实验验证，在自建无纺布匹数据集上进行训练和检测。 因为对缺陷进行标记或像素级分割很困难，缺陷的类型也十分复杂，所以基于学习的纹理缺陷检测大体思路是无监督的。即利用无监督学习算法学习正常纹理的数据分布特征，而不学习缺陷的数据分布特征。在待测图上以滑动区域为重构对象，与原图像做残差。由于正常纹理学习充分，重构残差应当很小，而缺陷区域的残差较大，故被凸现出来，随后再利用残差图做进一步处理。 在空域上进行无监督学习主要用卷积自编码器，其有两部分组成，编码器和解码器。编码器由卷积、激活、池化操作做成，对原始数据域分层做特征提取和降维，最后将数据映射到一个欠完备的隐层特征空间上。解码器由上采样、卷积、激活操作完成，将特征空间上的数据映射回空域。 本文主要功能实现：使用训练好的多尺度降噪自编码器对图像patch进行预测，将生成的图像patch与原始输入的patch进行对比，计算其重构残差，由于自编码器训练过程中使用的是无缺陷的图像，因而自编码器会对有缺陷的图像patch更加敏感，致使残差值偏高，将残差值与训练集的统计量进行比对，根据设置的阈值来判断当前像素位置是否为缺陷，从而实现像素级的缺陷检测。 ## 模型及实现介绍 使用无瑕疵的训练集，在不同的图像金字塔尺度上(使用高斯金字塔，金字塔尺寸为512，256，128)训练一个自编码器(包含一个Decoder和Encoder)，将原始图像裁剪为8*8的图像patch块，然后对其添加噪声，使用自编码器对这些图像patch进行处理，计算自编码器对每个图像patch的重建输出x’与输入x的残差|x-x’|，然后使用在不同金字塔尺度下设定好的阈值，来对重构残差进行判断，当存在多个尺度下的残差都超过阈值就认为该像素区域为缺陷像素。 1.数据收集和处理部分。** **数据收集：**使用的数据为先前项目中使用的实际无纺布图像数据，原始图像为6800*8000，使用python脚本将其裁剪为多个512*512的图像。该步骤使用的脚本为cropImage.py。 **光照归一化：**由于数据图像本身光照足够，本文没有进行光照归一化，另一个原因是根据论文中给出的韦伯光照归一化公式，使用代码复现后发现效果不佳，无法还原至论文中的效果，代码为WLD.py。 **加入噪声：**使用椒盐噪声进行噪声腐蚀，噪声系数为0.01。相关代码位于utils.py **图像金字塔和Patch提取：**使用opencv构建图像金字塔，然后将每个层级的图像裁剪为8*8的图像patch，然后保存为训练数据集。相关代码位于preprocess.py 测试和结果** 测试图像不需要进行噪声腐蚀，直接输入原始图像进行残差计算。每个像素都对应一个patch图作为残差信息来源，通过该值与阈值进行比对，来确定该像素是否符合正常分布，如果超过阈值则认为该像素邻域为缺陷分布，除此之外，还需要根据不同尺度下的残差阈值，综合判断该像素邻域是否为缺陷特征，实验中认为超过当达到两个尺度下都超过阈值，就认为该像素邻域为缺陷。 原论文并没有介绍如何将三个尺度的残差进行融合，因此本文采取的方案是使用多个尺度下训练的模型进行推理，并根据相应的结果使用RGB三个颜色通道来表示当前像素邻域的缺陷情况。 相关代码为test.py。 实验中的瑕疵能够被正确的检测出来，平均来看，使用多尺度进行检测能够加准确地实现像素级检测，并且使用无监督方法不需要人工进行繁重的缺陷标注工作，与有监督学习的方式比较，该方法更便捷和可行。
pytorch中图像的分块（patch）操作（使用了.permute()维度转换）
热门推荐
sinat_42239797的博客
03-05 1万+
参考：1.https://www.zhihu.com/question/60321866 2. https://blog.csdn.net/appleml/article/details/80143212?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-ta...
deep learning 对图片进行划分 patch
那些年踩过的“坑”
04-05 611
深度学习，patches处理
【图像分类案例】(10) Vision Transformer 动物图像三分类，附Pytorch完整代码
博观而约取，厚积而薄发
06-08 1万+
大家好，今天和各位分享一下如何使用 Pytorch 构建 Vision Transformer 网络模型，并使用 权重迁移学习方法 训练模型并预测。在 Vision Transformer 中，通过 Transformer 的 Encoder 部分直接进行分类任务，在图片序列中加入分类 token，图片序列则由原始图像切割成若干个图像块（Patch）得到......
torch 中各种图像格式转换的实现方法
09-18
主要介绍了torch 中各种图像格式转换的实现方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
【Pytorch】Tensor的分块、变形、排序、极值与in-place操作
阿润菜菜的博客
03-18 2959
Tensor的分块、变形、排序、极值与in-place操作
使用pytorch将三维图像分块(patches)
pp2373886592的博客
09-11 1586
问题：高光谱图像输入为5维，即(batch_size, channels, bands, height, width) ，需要将其分为多个大小为(k, k, k)的小块，但pytorch的unfold函数只支持输入是四维的情况。解决方法：使用单独的包。
论文阅读笔记：Swin-Transformer
loki2018的博客
06-05 611
本文是一篇奠定了Transformer在图像领域地位的论文，它不同于ViT(Vision Transformer)，提出了一种层次化的结构，因为ViT一开始就固定了patch的划分，因此感受野不会变化，而Swin Transformer采用了传统CNN下采样的设计，在不同的阶段采用不同的感受野尺度，最终得到了比ViT更好的性能表现。 论文代码提供了一种用卷积来进行初始划分patch的方法，就是用kernerl_size，stride与patch_size的卷积核做卷积操作。 1.2 DropPath 论文
python:将图片切割成4份扩充数据集
qq_43555843的博客
07-16 1796
有时候图像过大，或者是图像的数量不够，可以把原始图像切割成四份扩充数据集。 import cv2 import os if __name__ == "__main__": #图像文件原始路径 path = r"C:\study_he\exp_result\high\train\high_image" listdir = os.listdir(path) # 新建split文件夹用于保存 newdir = os.path.join(path, 'split')
Pytorch—tensor相关运算
weixin_54627824的博客
11-08 890
torch.cat((x,x),dim=1) #1是横轴。#0表示横向切一刀，1表示纵向切一刀。# dim为1表示行，0表示列。
torch1.7.zip
01-26
树莓派4b编译的torch1.7与torchvision0.8文件，可以用于在树莓派上部署yolov5
对分割好的图像提取patch
11-12
提取分割好的图像的patch块。 %该函数输入由带数据切片叠成的三维矩阵file_data（由函数read_raw得到），和想要得到的patch的大小size_patc（如3或者5） %输出保存patch的cell数组patch_data，其每一个单元保存file_data中每个切片的patch柱（由每个patch叠起来的3*3*num_pixel三维数组）
torch-1.0.0
06-01
torch-1.0.0
PyTorch的torch.cat用法
09-16
主要介绍了PyTorch的torch.cat用法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
【 书生·浦语大模型实战营】作业（六）：Lagent & AgentLego 智能体应用搭建
最新发布
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
05-03 630
本篇笔记内容主要为 【书生·浦语大模型实战营】作业（六）：Lagent & AgentLego 智能体应用搭建智能体的作业 ，主要对智能体应用理论部分及具体搭建流程详细介绍，并分别进行实战应用及可视化展示，欢迎大家交流学习！
python学习笔记----循环语句（四）
取个名字太难了a的博客
04-28 985
随机数种子在生成随机数的过程中起到一个非常重要的作用。它是用于初始化随机数生成算法（伪随机数生成器）的初始值。随机数种子的作用可重复性：当你使用特定的种子值初始化随机数生成器时，即使在不同的运行环境或不同时间，生成的随机数序列都将是相同的。这对于调试和测试非常重要，因为它允许程序的行为在使用随机数时保持一致。控制随机性：种子提供了一种方法来控制随机数生成过程。通过改变种子，你可以获得不同的随机数序列，这对于模拟和其他需要随机输入的应用非常有用。
SpringBoot中实现发送邮件
m0_64289188的博客
04-30 516
当你添加了spring-boot-starter-mail依赖后，Spring Boot会自动配置JavaMailSender实例，并根据application.yml文件中的属性来配置这个实例。你可以直接在需要发送邮件的地方通过@Autowired注解将JavaMailSender实例注入到你的类中，然后使用它来发送邮件。：首先，需要在你的pom.xml文件中添加Spring Boot的邮件发送器依赖。，简化了在Spring Boot应用程序中发送电子邮件的设置过程。Spring Boot的。
python复习（三）
qq_43710593的博客
04-29 320
类是一种面向。
Day25-Java基础之常用类1
m0_46053885的博客
04-27 1118
同时我们发现Math类中的方法都是静态的，因此在使用的时候我们可以直接通过类名去调用。对于计算机而言，其实是没有数据类型的概念的，都是0101010101，数据类型是编程语言自己规定的，所以在实际存储的时候，先把具体的数字变成二进制，每32个bit为一组，存储在数组中。比较内存地址值一般情况下是没有意义的，我们希望比较的是对象的属性，如果两个对象的属性相同，我们认为就是同一个对象；如果我们的数据是一个浮点类型的数据，有的时候计算机并不会将这个数据完全转换成一个二进制数据，而是将这个将其转换成一个无限的。
torch将彩色图像转为灰度图像
05-28
在PyTorch中，可以使用以下代码将彩色图像转换为灰度图像： ```python import torch import torchvision.transforms as transforms from PIL import Image # 加载彩色图像 color_image = Image.open("color_image.jpg") # 定义转换器 transformer = transforms.Compose([ transforms.Grayscale(), # 转换为灰度图像 transforms.ToTensor() # 转换为张量 ]) # 应用转换器 gray_image = transformer(color_image) ``` 在这个例子中，我们首先使用PIL库加载了一张彩色图像。然后，我们定义了一个转换器，它首先将图像转换为灰度图像，然后将其转换为张量。最后，我们将转换器应用于彩色图像，得到了灰度图像的张量表示。 需要注意的是，灰度图像只有一个通道，而彩色图像有三个通道。因此，转换为灰度图像会丢失彩色图像的信息。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值