一、加载数据集
全部数据:Batch 最大化利用向量的优势,提升计算速度(利用CPU GPU的并行计算能力)
随机梯度下降:mini-batch 只用一个样本,有较好的随机性
首先区分了Epoch(前馈、反馈和更新实现一次就是Epoch) \ Batch-Size(进行一次训练所用的样本数量)\ Iterations(内层迭代进行的次数 sum/Batch-size)
shuffle用来打乱数据集中数据的顺序
,然后通过Loader
将数据划分成mini-batch
DataSet是抽象类,不能实例化对象,主要是用于构造我们的数据集
需要mini_batch就需要 import DataSet和DataLoader
继承DataSet的类需要重写init,getitem,len魔法函数。分别是为了加载数据集,获取数据索引,获取数据总量
DataLoader对数据集先打乱(shuffle),然后划分成mini_batch
在训练模块加入:if __name__ == '__main__':
训练流程:
代码部分:
import torch
import numpy as np
from torch.utils.data import Dataset, DataLoader
# 自定义数据集类
class DiabetesDataset(Dataset):
def __init__(self, filepath):
xy = np.loadtxt(filepath, delimiter=',', dtype=np.float32)
self.len = xy.shape[0] # 获取数据集中的样本数量
self.x_data = torch.from_numpy(xy[:, :-1]) # 提取特征数据
self.y_data = torch.from_numpy(xy[:, [-1]]) # 提取标签数据
def __getitem__(self, index):
return self.x_data[index], self.y_data[index]
def __len__(self):
return self.len
# 创建数据集实例
dataset = DiabetesDataset('diabetes.csv.gz')
# 创建数据加载器,用于批量加载数据
train_loader = DataLoader(dataset=dataset, batch_size=32, shuffle=True, num_workers=2)
# 定义神经网络模型
class Model(torch.nn.Module):
def __init__(self):
super(Model, self).__init__()
self.linear1 = torch.nn.Linear(8, 6) # 输入维度为8,输出维度为6的线性层
self.linear2 = torch.nn.Linear(6, 4) # 输入维度为6,输出维度为4的线性层
self.linear3 = torch.nn.Linear(4, 1) # 输入维度为4,输出维度为1的线性层
self.sigmoid = torch.nn.Sigmoid()
def forward(self, x):
x = self.sigmoid(self.linear1(x))
x = self.sigmoid(self.linear2(x))
x = self.sigmoid(self.linear3(x))
return x
model = Model()
# 定义损失函数和优化器
criterion = torch.nn.BCELoss(reduction='mean') # 二元交叉熵损失函数,用于度量预测值和实际标签之间的误差
optimizer = torch.optim.SGD(model.parameters(), lr=0.01) # 随机梯度下降优化器,用于更新模型的权重和偏置
if __name__ == '__main__':
for epoch in range(100): # 迭代100个epoch
for i, data in enumerate(train_loader, 0):
inputs, labels = data # 从数据加载器中获取批量数据
y_pred = model(inputs) # 进行前向传播,得到预测值
loss = criterion(y_pred, labels) # 计算损失
print(epoch, i, loss.item()) # 打印当前迭代的epoch、批次和损失值
optimizer.zero_grad() # 清零梯度
loss.backward() # 反向传播,计算梯度
optimizer.step() # 更新模型参数
结果: