pytorch训练（一）——如何使用pytorch创建自己的数据集（含图像的分割处理-一个样本图片分为多个样本图片）

最新推荐文章于 2024-05-25 16:03:41 发布
最新推荐文章于 2024-05-25 16:03:41 发布
阅读量5.1k 收藏 56
点赞数 11
分类专栏： pytorch 文章标签： 神经网络 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36107350/article/details/89029044
版权

代码链接：https://github.com/duchp/python-all/tree/master/BreakHis

前言（博主的废话感悟）

经过研一上半学期的各种颓废，迷茫以及瞎学，博主终于在研一下半学期正式走入了研究的轨道中，那么像我们这种方向的研究生，入门研究第一件要做的事情就是复现论文~

论文首先是要读懂，然后get它使用的数据集（这个一般论文里面作者会提到的），下载下来之后呢，第一件事情就是读取它，并且根据自己使用的框架（博主这里用的pytorch）建立它所需要的数据集类型，pytorch的数据类型是Dataset，也就是torch.utils.data.Dataset结构，我们需要将下载好的数据集建立成这样的结构，才能进行后续的过程（比如分batch，搭建网络，预训练balabala的）

一、图片分割

这里博主读了一篇论文，并且get了它的数据集，但是文章中提到要将原本700X460大小的图片每张都分割成294张32X32的小图，并且这些小图的像素点是不重合的。那至于具体怎么分割，论文只字不提= =，所以本机智girl就算了一下，发现700/32为21余28，460/32为14余12，21x14正好294。嗯，那问题来了，多余的像素点我应该如何分配呢~这里博主本着试验的心态，将多余的像素点分配在了边缘

最低0.47元/天 解锁文章
亚特兰蒂斯 ‘
关注
  • 11
    点赞
  • 踩
  • 56
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
DeepLabv3+图像语义分割实战：训练自己的数据集
07-10
DeepLabv3+是一种非常先进的基于深度学习的图像语义分割方法，可对物体进行像素级分割。 本课程将手把手地教大家使用labelme图像标注工具制作数据集，并使用DeepLabv3+训练自己的数据集，从而能开展自己的图像语义分割应用。 本课程有两个项目实践： (1) CamVid语义分割 ：对CamVid数据集进行语义分割 (2) RoadScene语义分割：对汽车行驶场景中的路坑、车、车道线进行物体标注和语义分割 本课程使用TensorFlow版本的DeepLabv3+，在Ubuntu系统上做项目演示。 包括：安装deeplab、数据集标注、数据集格式转换、修改程序文件、训练自己的数据集、测试训练出的网络模型以及性能评估。 本课程提供项目的数据集和Python程序文件。 下图是使用DeepLabv3+训练自己的数据集RoadScene进行图像语义分割的测试结果：
图像语义分割实战：TensorFlow Deeplabv3+ 训练自己数据集
爱唱歌的卡卡西的博客
02-15 4900
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、环境配置二、代码下载1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 本文是为了记录deeplab训练过程。 提示：以下是本篇文章正文内容，下面案例可供参考 一、环境配置 我的环境： ubuntu 16.04 anaconda3 python 3.5 tensorflow-gpu 1.10.0 anaconda3的安装可以上网查 二、代码下载 1.引入库 首先clone官方提供的tensorfl
PyTorch 训练图像分割网络(代码讲解)
最新发布
qq_38412266的博客
05-25 1370
基于PyTorch实现的图像分割网络训练代码
图像语义分割：TensorFlow Deeplabv3+ 训练自己数据集
ling620的专栏
04-21 4421
本文主要介绍如何使用自己的数据集训练DeepLabv3+分割算法，代码使用的是官方源码。 1、代码简介 当前使用TensorFlow版本的官方源码，选择它的原因是因为代码中的内容比较全面，除了代码实现以外，还提供了许多文档帮助理解与使用，同时还提供了模型转换的代码实现。 代码地址： 【github】models/research/deeplab at master · tensorflow...
YOLOv8训练自己的分割数据集
m0_70140421的博客
02-17 1万+
yolov8图像分割，训练自己的数据集
chatgpt赋能python：Python教程：如何创建一个list
liangzijiaa的博客
06-10 140
在Python中，list是由一组有序的元素组成的。这些元素可以是不同类型的对象，如整数，浮点数，字符串以及其他数据类型。list是一个可变的对象，这意味着我们可以添加，删除或修改list中的元素。本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT，应该选择拥抱而不是抗拒，未来属于“会用”AI的人。🧡AI职场汇报智能办公文案写作效率提升教程 🧡专注于。
pytorch加载自己的图像数据集实例
09-16
在PyTorch中，加载自定义的图像数据集是一个常见的任务，特别是在进行深度学习研究时。这个过程涉及几个关键步骤，包括数据预处理、定义数据集类以及使用数据加载器来批量处理数据。以下是对标题和描述中所提及知识...
pytorch 语义分割-医学图像-脑肿瘤数据集的载入模块
12-21
在实际使用时，可以使用 PyTorch 的 DataLoader 类来创建一个数据加载器，它能够处理数据的批处理、多线程加载和随机打乱等操作。这样，训练模型时就可以方便地获取每一批次的输入数据和标签。 为了验证数据加载...
python进阶教程：pytorch 把MNIST数据集转换成图片和txt的方法
12-21
MNIST数据集是机器学习领域常用的训练集，包含了60,000个训练样本和10,000个测试样本，每个样本都是28x28像素的灰度图像，对应的标签为0到9的整数。 首先，我们需要导入必要的库，如`torch`、`torch.nn`、`torch....
血管瘤数据集，含两百多张血管瘤图片及血管瘤图像分割及识别代码（python）
03-10
"血管瘤数据集，含两百多张血管瘤图片及血管瘤图像分割及识别代码（python）"是一个专为血管瘤识别和分割设计的宝贵资料库。这个数据集可以帮助研究人员和开发者构建和优化算法，用于自动检测和分割医学影像中的血管...
用于手写数字识别的Demo，使用pyTorch训练Minist数据集，导出ONNX模型文件.zip
12-29
首先，MNIST数据集是一个广泛用于机器学习和深度学习入门的图像识别任务，它包含了60,000个训练样本和10,000个测试样本，每个样本都是28x28像素的手写数字图片。这个数据集的目的是让模型学习区分0到9的十个数字，是...
深度学习：使用UNet做图像语义分割，训练自己制作的数据集并推理测试（详细图文教程）
热门推荐
qq_40280673的博客
10-22 4万+
语义分割(Semantic Segmentation)是图像处理和机器视觉一个重要分支。与分类任务不同，语义分割需要判断图像每个像素点的类别，进行精确分割。语义分割目前在自动驾驶、自动抠图、医疗影像等领域有着比较广泛的应用。我总结了使用UNet网络做图像语义分割的方法，教程很详细，学者耐心学习。
图像语意分割Cityscapes训练数据集使用方法详解
loving___
06-09 1万+
大家好，这是我的第一篇个人博客，目前我是自学3个月Python及深度学习的新手小白。 希望通过写这样一个博客，可以记录我在学习中遇问题并解决问题的过程，若有幸文章对你有所帮助，也就实现了我写这篇文章的意义。 若文章有遗误之处，还请大家指正。 1.什么是Cityscapes数据集？ 我们知道，在深度学习图像语意分割的训练过程中，需要有数据集及分好类的标签，这样才可以让你的神经网络进行学习，进而训练出模型，用来识别你想要识别的图片场景等。Cityscapes便是包含大量街道图片、视频用来训练识别的数据集。 引用
pytorch构建并加载自己的图像数据集
PanYHHH的博客
05-15 7987
前言： pytorch虽然提供了torchvision.datasets包，封装了一些常用的数据集供我们很方便地调用，但我们经常需要训练自己的图像数据，构建并加载数据集往往是训练神经网络的第一步，本文将介绍如何构建加载自己的图像数据集，并用于神经网络输入。 一. 自定义图像数据集： 1. 数据集的文件结构： train为数据集根目录，下一级为每个类别的文件夹，分别包含着若干张图像： 2. torch.utils.data.Dataset： Dataset是表示数据集的抽象类，当我们自定义数据
Pytorch打怪路（三）Pytorch创建自己的数据集2
朝花&夕拾
08-27 1万+
      前面一篇写创建数据集的博文--- Pytorch创建自己的数据集1 是介绍的应用于图像分类任务的数据集，即输入为一个图像和它的类别数字标签，本篇介绍输入的标签label亦为图像的数据集，并包含一些常用的处理手段。比如做图像语义分割时就会用到这种数据输入方式。 1、数据集简介 以VOC2012数据集为例，图像是RGB3通道的，label是1通道的，（其实label原来是几通...
pytorch第七课-制作训练数据集
liulilglitter的博客
07-15 3822
在学习了一系列使用pytorch进行训练的方法之后，我们有一个很重要的点需要注意，就是如何制作自己的数据集，在前面的例子中，我们主要集中于pytorch在算法上的使用，数据集基本都是pytorch提供的，或者是用 data.ImageFolder直接生成的数据+标签（这个方法对于一般的图像问题很好用），但是当我们需要使用类似3D数据，或者不是图片的数据进行训练时，如何制作自己的数据集，就很关键了，下面我会以CT图片(格式 .nii.gz)举例，来进行数据集制作的介绍。 ...
pytorch训练自己的图片数据集
重剑无锋博客
04-19 2083
from __future__ import print_function, division import torch import torch.nn as nn import torch.optim as optim from torch.optim import lr_scheduler from PIL import Image import pandas as pd import os from torchvision import models, transforms # from logge
使用pytorch训练自己的数据集
qq_40356092的博客
09-09 6630
一、introduction 不得不说pytorch的功能十分强大，其中torchvision.datasets已经内置了常用的数据集，我们也可以使用datasets.ImageFolder来加载我们自己的数据集。如果你觉得这两个方法都不能很好的加载你想要的数据集，也可以通过继承dataset类来自定义自己的数据集加载方式。 本文主要介绍前两种加载数据集的方法，然后使用常见的卷积神经网络来训练并测试自己的数据集。 二、加载数据集 2.1 加载FashionMNIST数据集 def load_FashionM
可以写一段代码来实现pytorch读取csv数据集吗，每一个csv代表一个样本
09-18
### 回答1： 可以的，下面是一个例子，使用Pytorch读取csv数据集：import pandas as pd import torch# 读取csv文件 csv_file = pd.read_csv('csv文件路径')# 转换成torch tensor csv_data = torch.from_numpy(csv_file.values)# 打印输出 print(csv_data.shape) print(csv_data) ### 回答2： 可以使用PyTorch提供的`Dataset`和`DataLoader`类来实现读取CSV数据集的功能。下面是一个样本代码实现： ```python import torch from torch.utils.data import Dataset, DataLoader # 创建自定义的Dataset类 class CustomDataset(Dataset): def __init__(self, csv_file): # 读取CSV文件并加载数据 self.data = self.load_data(csv_file) def __len__(self): # 返回数据集中样本的总数 return len(self.data) def __getitem__(self, idx): # 返回指定索引（idx）的样本数据 sample = self.data[idx] return sample def load_data(self, csv_file): # 实现自定义的数据加载逻辑，根据实际情况处理CSV文件的读取和数据预处理 # 这里仅作示例，假设CSV文件每一行是逗号分隔的数字序列 data = [] with open(csv_file, 'r') as f: for line in f: # 假设CSV文件中每行数据去除首尾空格并用逗号分隔 line = line.strip() items = line.split(',') # 将数字字符串转换为浮点数 sample = [float(item) for item in items] data.append(sample) return data # 创建Dataset实例 dataset = CustomDataset('data.csv') # 创建DataLoader实例 dataloader = DataLoader(dataset, batch_size=32, shuffle=True) # 循环遍历数据集 for batch in dataloader: # 在此处对每个批次的数据进行自定义的处理或训练操作 print(batch) ``` 以上代码创建了一个自定义的`CustomDataset`类用于读取CSV文件中的数据，并使用`DataLoader`类来加载并生成数据批次。可以根据实际情况修改`CustomDataset`类中的`load_data`方法来处理CSV文件的读取和数据预处理逻辑。在上述代码中，每一个CSV文件即代表一个样本。 ### 回答3： 可以通过使用pandas库来实现PyTorch读取CSV数据集。下面是一个示例代码： ```python import pandas as pd import torch from torch.utils.data import Dataset, DataLoader class CustomDataset(Dataset): def __init__(self, csv_file): self.data = pd.read_csv(csv_file) def __len__(self): return len(self.data) def __getitem__(self, idx): sample = self.data.iloc[idx].values return torch.tensor(sample, dtype=torch.float) # 使用示例 dataset = CustomDataset('sample.csv') dataloader = DataLoader(dataset, batch_size=32, shuffle=True) for batch in dataloader: # 在这里执行你的模型训练代码 pass ``` 在这个例子中，`CustomDataset` 类用于加载CSV文件，并在 `__getitem__` 方法中以张量形式返回每个样本。然后，可以使用 `torch.utils.data.DataLoader` 类来创建一个数据加载器，用于按照指定的批量大小和随机洗牌方式加载数据集。在训练循环中，可以通过迭代 `dataloader` 来获取每个批次的数据，并将其输入到模型中进行训练。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值