孪生网络Dataset

参考文章:https://cloud.tencent.com/developer/article/1761815
以natureDB为例
natureDB是一个自然图像数据集,一共有十个类别一个类别有100张照片。
利用脚本将图像的类别和和路径存入txt文件(这个很容易根据情况写就行了。。).
在这里插入图片描述

class nature_dataset():
    def __init__(self, transform = None, train = True):
        """
        :param transform: 选择transform:transform_train/test_train
        :param train: 是否为训练集:True/False
        """
        f = None
        if train == True:
            f = open("./train.txt", "r")
        elif train == False:
            f = open("./test.txt", "r")
        imgs = []
        labels = []
        for line in f:
            line = line.strip("\n")
            #line = line.rstrip()
            word = line.split(" ")
            imgs.append((word[1], int(word[0])))      
        self.imgs = imgs
        self.transform = transform
    def __getitem__(self, index):
        fn, label = self.imgs[index]
        img = Image.open("./images/" + fn)
        #此时就根据index得到了一张图片和其对应的标签
        if np.random.rand() < 0.5:
        	index_1 = np.random.choice(np.arrange(len(self.imgs))[self.labels == label], 1)
        else:
        	index_1 = np.random.choice(np.arrange(len(self.imgs))[self.labels != label], 1)
        fn_1, label_1 = self.labels[index_1]
        img_1 = Image.open("./images/" + fn_1)
        if label == label_1:
        	label = 0
        else:
        	label = 1
        return img, img_1, label
    def __len__(self):
        return len(self.imgs)

第一次看到这种语法…(仔细想想好像是这样y[True, False, …True])

import numpy as np
y = np.array([1, 1, 2, 2, 3, 3, 4, 4])
y1 = 1
idx2 = np.random.choice(np.arange(len(y))[y == y1],1)
print(idx2)
idx3 = np.random.choice(np.arange(len(y))[ y!= y1],1)
print(np.arange(len(y)))
print(np.arange(len(y))[y == y1])
print(np.arange(len(y))[y != y1])
[1]
[0 1 2 3 4 5 6 7]
[0 1]
[2 3 4 5 6 7]
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
BP神经网络是一种经典的人工神经网络模型,用于解决分类和回归问题。在Python中,我们可以使用一些库来构建和训练BP神经网络,例如PyTorch、Keras或TensorFlow。 对于BP神经网络,我们首先需要准备一个数据集。数据集应该包含输入特征和对应的标签。特征可以是数字、文本或图像等形式,而标签则表示我们要预测的目标。通常,我们将数据集分为训练集和测试集,用于训练和评估模型的性能。 在Python中,我们可以使用PyTorch库来处理数据集和加载器。PyTorch提供了一个名为`torch.utils.data.Dataset`的类,用于定义自定义数据集。我们可以继承这个类并实现`__len__`和`__getitem__`方法来获取数据集的长度和索引对应的样本。 下一步是使用`torch.utils.data.DataLoader`类来创建数据加载器。数据加载器可以帮助我们以批量的方式加载数据,并提供多线程处理和数据打乱等功能。我们可以设置批量大小、是否打乱数据以及使用多个线程来加载数据。 以下是一个示例代码,展示了如何准备数据集和数据加载器: ```python import torch from torch.utils.data import Dataset, DataLoader # 定义自定义数据集 class MyDataset(Dataset): def __init__(self, data, targets): self.data = data self.targets = targets def __len__(self): return len(self.data) def __getitem__(self, index): x = self.data[index] y = self.targets[index] return x, y # 准备数据 data = [...] # 特征数据 targets = [...] # 标签数据 # 创建数据集 dataset = MyDataset(data, targets) # 创建数据加载器 batch_size = 32 shuffle = True num_workers = 4 dataloader = DataLoader(dataset, batch_size=batch_size, shuffle=shuffle, num_workers=num_workers) ``` 在上面的示例中,`MyDataset`是一个自定义数据集,其中的`__len__`方法返回数据集的长度,`__getitem__`方法根据索引返回对应的特征和标签。然后,我们将数据集传递给`DataLoader`类来创建数据加载器,并设置了批量大小为32,打乱数据并使用4个线程进行加载。 通过使用数据集和数据加载器,我们可以方便地准备和加载数据,以供BP神经网络进行训练和评估。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值