pytorch实践:数据处理

文章目录


前言

本节主要讲解了一下pytorch自带的数据处理函数的功能,也就是DataLoader和Dataset这两个函数的功能和使用,以及如何继承这些函数,处理我们自己的数据集


一、代码

import numpy as np
import torch
from torch.utils.data import DataLoader,Dataset

class DDataset(Dataset):
    def __init__(self,filepath):
        xy = np.loadtxt('diabetes.csv.gz', delimiter=',', dtype=np.float32)
        self.len=xy.shape[0]
        self.x_data = torch.from_numpy(xy[:, :-1])  # 数据取前八列
        self.y_data = torch.from_numpy(xy[:, [-1]])  # 第九列
    def __getitem__(self, index):
        return self.x_data[index],self.y_data[index]
    def __len__(self):
        return self.len

dataset=DDataset('diabetes.csv.gz')
train_loader=DataLoader(dataset=dataset,batch_size=32,shuffle=True,num_workers=2)

class Model(torch.nn.Module):
    def __init__(self):
        super(Model,self).__init__()
        self.linear1=torch.nn.Linear(8,6)
        self.linear2=torch.nn.Linear(6,4)
        self.linear3=torch.nn.Linear(4,1)
        self.activation=torch.nn.Sigmoid()

    def forward(self,x):
        x=self.activation(self.linear1(x))
        x=self.activation(self.linear2(x))
        x=self.activation(self.linear3(x))
        return x
model=Model()

criterion=torch.nn.BCELoss(size_average=True)#平均了

optimizer=torch.optim.Adam(model.parameters(),lr=0.01)

if __name__=='__main__':#windows下面的多进程
        # 训练数据集100次
        for epoch in range(100):
            #每次都用min_batch
            for i,data in enumerate(train_loader,0):
                inputs,labels=data
                y_pred=model(inputs)
                loss=criterion(y_pred,labels)
                print(epoch,i,loss.item())

                optimizer.zero_grad()
                loss.backward()
                optimizer.step()

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值