pytorch的数据集处理

在这里插入图片描述

transforms.ToTensor(), # 数据集加载时,默认的图片格式是 numpy,所以通过 transforms 转换成 Tensor,图像范围[0, 255] -> [0.0,1.0]
trainset = torchvision.datasets.CIFAR10
trainloader = torch.utils.data.DataLoader
trainset加载所有的图片,trainloader是一个迭代器,for i,data in enumerate(trainloader),
创建xml:
import pandas as pd
import os
PATH = ‘G:/trainshibie/55/val/’
xml = []
i =1
for (path, dirnames, filenames) in os.walk(PATH):
for filename in filenames:
Path = os.path.join(path, filename)
if i < 11:
value = (Path, 0)
xml.append(value)
else:
value = (Path, 1)
xml.append(value)
i = i + 1
column_name =[‘path’,‘label’]
xml = pd.DataFrame(xml,columns=column_name)
print(xml)
xml.to_csv(‘G:/trainshibie/55/ee.csv’,index=None)
读取csv:
import pandas as pd
import numpy as np
path = []
data = pd.read_csv(‘G:/trainshibie/55/ee.csv’)
c=data.shape[0]
label=np.zeros(c,dtype=np.int32)
for index,row in data.iterrows():
path.append(row[‘path’])
label[index] = row[‘label’]
iterrows()返回值为元组,(index,row).for循环定义了两个变量,index,row,那么返回的元组,index=index,row=row
#如果for循环时,只定义一个变量:那么row就是整个元组。输出结果可以看出.
在这里插入图片描述
利用csv文件中的数据做成迭代器的形式:主要是定义自已的数据类。
xml数据读取到csv文件中,这个应该是制作数据集时使用。
批量读取xml.

【课程介绍】       Pytorch项目实战 垃圾分类 课程从实战的角度出发,基于真实数据集与实际业务需求,结合当下最新话题-垃圾分类问题为实际业务出发点,介绍最前沿的深度学习解决方案。     从0到1讲解如何场景业务分析、进行数据处理,模型训练与调优,最后进行测试与结果展示分析。全程实战操作,以最接地气的方式详解每一步流程与解决方案。     课程结合当下深度学习热门领域,尤其是基于facebook 开源分类神器ResNext101网络架构,对网络架构进行调整,以计算机视觉为核心讲解各大网络的应用于实战方法,适合快速入门与进阶提升。 【课程要求】 (1)开发环境:python版本:Python3.7+; torch 版本:1.2.0+; torchvision版本:0.4.0+ (2)开发工具:Pycharm; (3)学员基础:需要一定的Python基础,及深度学习基础; (4)学员收货:掌握最新科技图像分类关键技术; (5)学员资料:内含完整程序源码和数据集; (6)课程亮点:专题技术,完整案例,全程实战操作,徒手撸代码 【课程特色】 阵容强大 讲师一直从事与一线项目开发,高级算法专家,一直从事于图像、NLP、个性化推荐系统热门技术领域。 仅跟前沿 基于当前热门讨论话题:垃圾分类,课程采用学术届和工业届最新前沿技术知识要点。 实战为先 根据实际深度学习工业场景-垃圾分类,从产品需求、产品设计和方案设计、产品技术功能实现、模型上线部署。精心设计工业实战项目 保障效果 项目实战方向包含了学术届和工业届最前沿技术要点 项目包装简历优化 课程内垃圾分类图像实战项目完成后可以直接优化到简历中 【课程思维导图】 【课程实战案例】
©️2020 CSDN 皮肤主题: 深蓝海洋 设计师:CSDN官方博客 返回首页