pytorch_learning(一）

最新推荐文章于 2024-05-30 14:40:11 发布
最新推荐文章于 2024-05-30 14:40:11 发布
阅读量664 收藏
点赞数
分类专栏： 机器学习启蒙 文章标签： pytorch 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45676951/article/details/123201189
版权

我先随便写一下，时间紧任务重，后面再慢慢完善……毕竟是第一次用_

Read_data

利用console直接读图片
在这里插入图片描述
在console中可以看到img的相关信息
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
集成Dataset类，写自己的dataset

from torch.utils.data import Dataset
from PIL import  Image
import os
class MyData(Dataset):
    def __init__(self,root_dir,label_dir):
        self.root_dir=root_dir
        self.label_dir=label_dir
        self.path=os.path.join(self.root_dir,self.label_dir)
        self.img_path=os.listdir(self.path)

    def __getitem__(self, index):
        img_name=self.img_path[index]
        img_item_path=os.path.join(self.root_dir,self.label_dir,img_name)
        img=Image.open(img_item_path)
        label=self.label_dir
        return img,label
    def __len__(self):
        return len(self.img_path)
root_dir="C:/Users/JiangShan/Documents/git/brain_cell/first_source/pytorch_practice/hymenoptera_data/train"
ant_label_dir="ants"
ants_dataset=MyData(root_dir,ant_label_dir)
ima,label=ants_dataset[0]
print(label)

可以在console中看到各个变量或者类的属性及方法
在这里插入图片描述

Transform

看官方文档，主要关注输入输出，需要什么参数
在这里插入图片描述
或者在python文件中导入

from torchvision import transforms

在pycharm中按住ctrl点transform，再点transform会出现这个文件transforms.py
在这里插入图片描述
transforms.py中有很多类，里面都有很好的解释，选择transforms中需要的类来作为工具，然后使用对应的功能

from PIL import Image
from torch.utils.tensorboard import SummaryWriter
from torchvision import transforms
img_path="../hymenoptera_data/train/ants/0013035.jpg"
img=Image.open(img_path)
print(img)
# <PIL.JpegImagePlugin.JpegImageFile image mode=RGB size=768x512 at 0x26968217130>

tensor_trans=transforms.ToTensor()
tensor_img=tensor_trans(img)

# print(tensor_img)
# tensor([[[0.3137, 0.3137, 0.3137,  ..., 0.3176, 0.3098, 0.2980],
#          [0.3176, 0.3176, 0.3176,  ..., 0.3176, 0.3098, 0.2980],
#          [0.3216, 0.3216, 0.3216,  ..., 0.3137, 0.3098, 0.3020],
#          ...,
#          [0.3412, 0.3412, 0.3373,  ..., 0.1725, 0.3725, 0.3529],
#          [0.3412, 0.3412, 0.3373,  ..., 0.3294, 0.3529, 0.3294],
#          [0.3412, 0.3412, 0.3373,  ..., 0.3098, 0.3059, 0.3294]],
#
#         [[0.5922, 0.5922, 0.5922,  ..., 0.5961, 0.5882, 0.5765],
#          [0.5961, 0.5961, 0.5961,  ..., 0.5961, 0.5882, 0.5765],
#          [0.6000, 0.6000, 0.6000,  ..., 0.5922, 0.5882, 0.5804],
#          ...,
#          [0.6275, 0.6275, 0.6235,  ..., 0.3608, 0.6196, 0.6157],
#          [0.6275, 0.6275, 0.6235,  ..., 0.5765, 0.6275, 0.5961],
#          [0.6275, 0.6275, 0.6235,  ..., 0.6275, 0.6235, 0.6314]],
#
#         [[0.9137, 0.9137, 0.9137,  ..., 0.9176, 0.9098, 0.8980],
#          [0.9176, 0.9176, 0.9176,  ..., 0.9176, 0.9098, 0.8980],
#          [0.9216, 0.9216, 0.9216,  ..., 0.9137, 0.9098, 0.9020],
#          ...,
#          [0.9294, 0.9294, 0.9255,  ..., 0.5529, 0.9216, 0.8941],
#          [0.9294, 0.9294, 0.9255,  ..., 0.8863, 1.0000, 0.9137],
#          [0.9294, 0.9294, 0.9255,  ..., 0.9490, 0.9804, 0.9137]]])

transform中几个常用类的的使用

from PIL import Image
from torchvision import transforms



imag=Image.open("../hymenoptera_data/train/ants/0013035.jpg")
# print(type(imag))
# <class 'PIL.JpegImagePlugin.JpegImageFile'>

#ToTensor

trans_totensor=transforms.ToTensor()
imag_tensor=trans_totensor(imag)
# print(type(imag_tensor))
# <class 'torch.Tensor'>
print(imag_tensor[0][0][0])

#Normalize

trans_normal= transforms.Normalize([0.5,0.5,0.5],[0.5,0.5,0.5])
# (各维度均值，各维度标准差)
# 计算公式：output[channel] = (input[channel] - mean[channel]) / std[channel]
imag_normal=trans_normal(imag_tensor)
print(imag_normal[0][0][0])

#Resize

#img PIL->resize->img_resize PIL
print(imag.size)
# (768, 512)
trans_resize=transforms.Resize((512,512))
imag_resize=trans_resize(imag)
print(imag_resize.size)
# (512, 512)

#Compose-resize-2
trans_resize_2=transforms.Resize(512)
trans_compose=transforms.Compose([trans_resize_2])
imag_resize_2=trans_compose(imag)
print(imag_resize_2.size)
# (768, 512)

#RandomCrop

trans_rc=transforms.RandomCrop(512)
trans_compose_2=transforms.Compose([trans_rc])
for i in range(10):
    i=trans_compose_2(imag)
    print(i)
# <PIL.Image.Image image mode=RGB size=512x512 at 0x1ED7CC7E8E0>
# <PIL.Image.Image image mode=RGB size=512x512 at 0x1ED7CC7E970>
# <PIL.Image.Image image mode=RGB size=512x512 at 0x1ED7CC7E8E0>
# <PIL.Image.Image image mode=RGB size=512x512 at 0x1ED7CC7E970>
# <PIL.Image.Image image mode=RGB size=512x512 at 0x1ED7CC7E8E0>
# <PIL.Image.Image image mode=RGB size=512x512 at 0x1ED7CC7E970>
# <PIL.Image.Image image mode=RGB size=512x512 at 0x1ED7CC7E8E0>
# <PIL.Image.Image image mode=RGB size=512x512 at 0x1ED7CC7E970>
# <PIL.Image.Image image mode=RGB size=512x512 at 0x1ED7CC7E8E0>
# <PIL.Image.Image image mode=RGB size=512x512 at 0x1ED7CC7E970>

Dataset

import torchvision

train_set=torchvision.datasets.CIFAR10(root="../",train="true",download=True)
test_set=torchvision.datasets.CIFAR10(root="../",train="false",download=True)
print(train_set)
print(test_set)
# Dataset CIFAR10
#     Number of datapoints: 50000
#     Root location: ../
#     Split: Test
# Dataset CIFAR10
#     Number of datapoints: 50000
#     Root location: ../
#     Split: Test

print(test_set[0])
# (<PIL.Image.Image image mode=RGB size=32x32 at 0x2001E782370>, 6)
print(test_set.classes)
img,target=test_set[0]
print(img)
print(target)
print(test_set.classes[target])
# ['airplane', 'automobile', 'bird', 'cat', 'deer', 'dog', 'frog', 'horse', 'ship', 'truck']
# <PIL.Image.Image image mode=RGB size=32x32 at 0x175D53B8670>
# 6
# frog

dataset+transform

dataset_transform=torchvision.transforms.Compose([torchvision.transforms.ToTensor()])
train_set=torchvision.datasets.CIFAR10(root="../",train="true",transform=dataset_transform,download=True)
test_set=torchvision.datasets.CIFAR10(root="../",train="false",transform=dataset_transform,download=True)
print(test_set[0])
# (tensor([[[0.2314, 0.1686, 0.1961,  ..., 0.6196, 0.5961, 0.5804],
#          [0.0627, 0.0000, 0.0706,  ..., 0.4824, 0.4667, 0.4784],
#          [0.0980, 0.0627, 0.1922,  ..., 0.4627, 0.4706, 0.4275],
#          ...,
#          [0.8157, 0.7882, 0.7765,  ..., 0.6275, 0.2196, 0.2078],
#          [0.7059, 0.6784, 0.7294,  ..., 0.7216, 0.3804, 0.3255],
#          [0.6941, 0.6588, 0.7020,  ..., 0.8471, 0.5922, 0.4824]],
#
#         [[0.2431, 0.1804, 0.1882,  ..., 0.5176, 0.4902, 0.4863],
#          [0.0784, 0.0000, 0.0314,  ..., 0.3451, 0.3255, 0.3412],
#          [0.0941, 0.0275, 0.1059,  ..., 0.3294, 0.3294, 0.2863],
#          ...,
#          [0.6667, 0.6000, 0.6314,  ..., 0.5216, 0.1216, 0.1333],
#          [0.5451, 0.4824, 0.5647,  ..., 0.5804, 0.2431, 0.2078],
#          [0.5647, 0.5059, 0.5569,  ..., 0.7216, 0.4627, 0.3608]],
#
#         [[0.2471, 0.1765, 0.1686,  ..., 0.4235, 0.4000, 0.4039],
#          [0.0784, 0.0000, 0.0000,  ..., 0.2157, 0.1961, 0.2235],
#          [0.0824, 0.0000, 0.0314,  ..., 0.1961, 0.1961, 0.1647],
#          ...,
#          [0.3765, 0.1333, 0.1020,  ..., 0.2745, 0.0275, 0.0784],
#          [0.3765, 0.1647, 0.1176,  ..., 0.3686, 0.1333, 0.1333],
#          [0.4549, 0.3686, 0.3412,  ..., 0.5490, 0.3294, 0.2824]]]), 6)

Dataloader

from torch.utils.data import DataLoader
import torchvision
test_set=torchvision.datasets.CIFAR10(root="../",train="false",transform=torchvision.transforms.ToTensor(),download=True)
test_loader=DataLoader(dataset=test_set,batch_size=4,shuffle=True,num_workers=0,drop_last=False)
#batch_size每次取多少张图片，shuffle是否打乱,drop_last最后的一组不足batch_size时是否丢弃
img,target=test_set[0]
print(target)
print(img.shape)
# 6
# torch.Size([3, 32, 32])
print(len(test_loader))
'''for data in test_loader:
    imgs,targets=data
    print(len(data))'''
啊哈biubiubiu~
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pytorch_lighting
qq_38195610的博客
05-09 7772
PyTorch Lightning 是一个开源的 PyTorch 加速框架，它旨在帮助研究人员和工程师更快地构建神经网络模型和训练过程。它提供了一种简单的方式来组织和管理 PyTorch 代码，同时提高了代码的可重用性和可扩展性。PyTorch Lightning 提供了一组预定义的模板和工具，使得用户可以轻松地构建和训练各种类型的神经网络模型，包括图像分类、对象检测、语音识别、自然语言处理等。
pytorch_lightning 使用教程
qq_45759229的博客
09-07 2050
pytorch_lightning使用教程
pytorch_pretrained_bert源码阅读
weixin_42532133的博客
01-11 787
由于最近在看有关spanbert的repo（用于抽取式的QA），顺便阅读了一下pytorch_pretrained_bert的源码，在这里记录一下pytorch_pretrained_bert中有用的内容。 1. 关于optimization.py 所有的优化器都是基于Optimizer这个类写的，主要是得实现step函数。 def __init__(self, params, lr=required, warmup=-1, t_total=-1, schedule='warmup_linear',
pytorch_lightning 关于 _get_rank的升级公告
预备的小小CV算法工程师
03-15 662
报错ImportError: cannot import name ‘_get_rank’ from ‘pytorch_lightning.utilities.rank_zero’修改下面的代码即可（2023.03）
[pytorch] PyTorch Metric Learning库代码学习二 Inference
qq_38736504的博客
03-09 2691
PyTorch Metric Learning库代码学习三 InferenceInstall the packagesImport the packagesCreate helper functionsCreate the dataset and load the trained model 度量学习作为一个大领域，网上有不少介绍的文章，pytorch-metric-learning库的官方文档也有比较详细的说明和demo. 简介度量学习和pytorch-metric-learning的使用 官方 API
Pytorch_cnn_mnist
To be a better man
12-10 1489
加入我们要用两层卷积神经网络来提取特征对mnist数据集进行分类，在pytorch中，我们应该如何设计网络？最基本的卷机层与池化层怎么去搭配，如何计算？ 目录 1.理论设计 2.利用工具进行计算 3.代码实现 4.参考资料 1.理论设计 首先mnist数据集是28*28单通道的图片数据，这里卷积核的size一般可以试着调试，这里一般采用size=5，然后通道个数也就是我们的输出的特征图（feature map），一般也是尝试性的参数，可能看代码能更直观一点，...
如何解决ModuleNotFoundError: No module named ‘pytorch_lightning.metrics‘
lyf6667的博客
07-08 8997
如何解决ModuleNotFoundError: No module named ‘pytorch_lightning.metrics‘
深度学习-pytorch_lightning框架使用实例
陆沙的博客
06-12 792
下面是我写过的一个pytorch_lightning项目的代码框架。关键代码已经省略。
探索PyTorch主动学习库：rmunro的pytorch_active_learning
gitblog_00061的博客
04-25 256
探索PyTorch主动学习库：rmunro的pytorch_active_learning 项目地址:https://gitcode.com/rmunro/pytorch_active_learning 在这个数据丰富的时代，机器学习和深度学习已经成为解决问题的重要工具。然而，大量标注数据的需求往往成为瓶颈。pytorch_active_learning 是一个由 rmunro 开发的 PyTor...
pytorch_lightning 全程笔记
qq_40837764的博客
12-06 5277
原文地址：pytorch_lightning 全程笔记 - 知乎 前言 本文会持续更新，关于pytorch-lightning用于强化学习的经验，等我的算法训练好后，会另外写一篇记录。 知乎上已经有很多关于pytorch_lightning (pl)的文章了，总之，这个框架是真香没错，包括Install，从pytorch代码转pytorch_lightning，都是很轻松，问题是我们怎么去用他。已经有很多的文章和博客都介绍了pl，我这里，主要记录一些我前几天应用的干货。 对于个人而言，为什么要用py
pytorch_metric_learning 一个灵活且可扩展的度量学习库，用PyTorch编写-python
06-18
pytorch_metric_learning 一个灵活且可扩展的度量学习库，用PyTorch编写PyTorch Metric Learning News 6 月 20 日：v0.9.87 带来了一些可能导致您现有代码中断的重大更改。 有关详细信息，请参阅发行说明。 文档 在...
PyTorch_tutorial_余霆嵩
01-08
PyTorch中文版教程，详实可靠
Python库 | pytorch_metric_learning-1.1.1.dev0-py3-none-any.whl
04-25
资源分类：Python库 所属语言：Python 使用前提：需要解压 资源全名：pytorch_metric_learning-1.1.1.dev0-py3-none-any.whl 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
pytorch_tabular:用于对表格数据的深度学习模型进行建模的标准框架
04-30
一次，您已经安装了Pytorch，只需使用： pip install pytorch_tabular[all] 安装带有额外依赖项的完整库。 和 ： pip install pytorch_tabular 裸露的必需品。 pytorch_tabular的源代码可以从Github repo仓库_...
Pytorch创建张量
qq_44815135的博客
05-27 1015
torch.normal() 是 PyTorch 中用于创建具有指定均值和标准差的正态分布随机值的张量的函数。torch.randn() 是 PyTorch 中用于创建具有正态分布（高斯分布）随机值的张量的函数。torch.zeros() 函数是 PyTorch 中用于创建元素全为零的张量的函数。torch.ones() 函数是 PyTorch 中用于创建元素全为一的张量的函数。torch.rand() 是 PyTorch 中用于创建具有随机值的张量的函数。
Pytorch实用教程：pytorch中nn.Linear()用法详解 | 构建多层感知机 | nn.Module的作用 | nn.Sequential的作用
最新发布
惊鸿若梦一书生
05-30 186
Pytorch实用教程：pytorch中nn.Linear()用法详解 | 构建多层感知机 | nn.Module的作用 | nn.Sequential的作用
Pytorch 笔记
985小菜鸡
05-28 955
就地操作会直接修改原始张量的值，通常以a.mul_(b)：就地进行元素级相乘非就地操作会创建新的张量并返回结果，而不改变输入张量的值。这些不同的乘法操作方式在不同的应用场景中有不同的用途，根据需要选择适合的乘法方式。
Pytorch-Reduction Ops
qq_44815135的博客
05-29 710
torch.argmax() 是 PyTorch 中的一个函数，用于在指定维度上获取张量中最大值的索引。input：输入张量。dim：可选参数，指定在哪个维度上进行操作。如果未指定，则默认在最后一个维度上进行操作。keepdim：可选参数，指定是否保持输出张量的维度与输入张量相同。默认为 False，表示不保持维度"""# 创建一个张量# 沿着第一个维度获取最大值的索引print(max_indices) # 输出: tensor([1, 1, 1])
Pytorch索引、切片、连接
qq_44815135的博客
05-28 600
torch.hstack() 是 PyTorch 中的一个函数，用于沿着水平方向（列维度）堆叠张量来创建一个新的张量。torch.column_stack() 是 PyTorch 中的一个函数，用于按列堆叠张量来创建一个新的张量。torch.masked_select() 是 PyTorch 中的一个函数，用于根据给定的掩码从输入张量中选择元素并返回一个新的张量。torch.index_select() 是 PyTorch 中的一个函数，用于按索引从输入张量中选择元素并返回一个新的张量。
升级或者降级 pytorch_metric_learning 包
06-07
要升级 `pytorch_metric_learning` 包，可以使用以下命令： ``` pip install --upgrade pytorch_metric_learning ``` 要降级 `pytorch_metric_learning` 包，可以使用以下命令： ``` pip install pytorch_metric_...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值