PyTorch Lightning VAE 项目教程
1. 项目的目录结构及介绍
pytorch-lightning-vae/
├── config/
│ ├── config.yaml
│ └── ...
├── models/
│ ├── __init__.py
│ └── ...
├── data/
│ ├── get_dataset.py
│ └── ...
├── callbacks/
│ ├── image_log_callback.py
│ └── ...
├── train.py
├── requirements.txt
├── README.md
└── ...
- config/: 包含项目的配置文件,如
config.yaml
。 - models/: 包含各种模型的实现文件。
- data/: 包含数据集处理的相关脚本,如
get_dataset.py
。 - callbacks/: 包含训练过程中的回调函数,如
image_log_callback.py
。 - train.py: 项目的启动文件,用于训练模型。
- requirements.txt: 项目依赖的库列表。
- README.md: 项目的说明文档。
2. 项目的启动文件介绍
train.py
train.py
是项目的启动文件,负责模型的训练过程。以下是该文件的主要功能:
- 导入必要的库和模块。
- 定义
VAE
类,继承自pl.LightningModule
。 - 配置训练参数和数据模块。
- 实例化
VAE
模型和数据模块。 - 使用 PyTorch Lightning 的
Trainer
类进行模型训练。
import pytorch_lightning as pl
from torch import nn
import torch
from pl_bolts.models.autoencoders.components import resnet18_encoder, resnet18_decoder
from pl_bolts.datamodules import CIFAR10DataModule, ImagenetDataModule
from image_plotting_callback import ImageSampler
from argparse import ArgumentParser
class VAE(pl.LightningModule):
def __init__(self, enc_out_dim=512, latent_dim=256, input_height=32):
super().__init__()
self.save_hyperparameters()
# encoder decoder
self.encoder = resnet18_encoder(False, False)
self.decoder = resnet18_decoder(False, False)
# distribution parameters
self.fc_mu = nn.Linear(enc_out_dim, latent_dim)
self.fc_var = nn.Linear(enc_out_dim, latent_dim)
# for the gaussian likelihood
self.log_scale = nn.Parameter(torch.Tensor([0.0]))
def configure_optimizers(self):
return torch.optim.Adam(self.parameters(), lr=1e-4)
def training_step(self, batch, batch_idx):
x, y = batch
x_hat = self.forward(x)
loss = self.loss_function(x_hat, x)
self.log('train_loss', loss)
return loss
def forward(self, x):
h = self.encoder(x)
mu = self.fc_mu(h)
log_var = self.fc_var(h)
z = self.reparameterize(mu, log_var)
return self.decoder(z)
def reparameterize(self, mu, logvar):
std = torch.exp(0.5 * logvar)
eps = torch.randn_like(std)
return mu + eps * std
def loss_function(self, recon_x, x, mu, log_var):
recon_loss = F.mse_loss(recon_x, x, reduction='sum')
kld_loss = -0.5 * torch.sum(1 + log_var - mu.pow(2) - log_var.exp())
return recon_loss + kld_loss
if __name__ == '__main__':
parser = ArgumentParser()
parser.add_argument('--batch_size', type=int, default=32)
parser.add_argument('--max_epochs', type=int, default=10)
args = parser.parse_args()
pl.seed