Pytorch-Lightning--Trainer

已于 2023-04-24 14:34:50 修改
阅读量7.4k 收藏 33
点赞数 9
分类专栏： Pytorch-Lightning Python 文章标签： pytorch 深度学习 人工智能 python
于 2022-01-28 18:44:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27135095/article/details/122735169
版权

Pytorch-Lightning中的训练器—Trainer

Trainer.__init__()

常用参数

参数名称含义默认值接受类型
callbacks添加回调函数或回调函数列表None(ModelCheckpoint默认值)Union[List[Callback], Callback, None]
enable_checkpointing是否使用callbacksTruebool
enable_progress_bar是否显示进度条Truebool
enable_model_summary是否打印模型摘要Truebool
precision指定训练精度32(full precision)Union[int, str]
default_root_dir模型保存和日志记录默认根路径None(os.getcwd())Optional[str]
logger设置日志记录器(支持多个)，若没设置logger的save_dir，则使用default_root_dirTrue(默认日志记录)Union[LightningLoggerBase, Iterable[LightningLoggerBase], bool]
max_epochs最多训练轮数(指定为**-1可以设置为无限次**)None(1000)Optional[int]
min_epochs最少训练轮数。当有Early Stop时使用None(1)Optional[int]
max_steps最大网络权重更新次数-1(禁用)Optional[int]
min_steps最少网络权重更新次数None(禁用)Optional[int]
weights_save_path权重保存路径(优先级高于default_root_dir)，ModelCheckpoint未定义路径时将使用该路径None(default_root_dir)Optional[str]
log_every_n_steps更新n次网络权重后记录一次日志50int
limit_train_batches
limit_test_batches
limit_val_batches
limit_predict_batches		使用训练/测试/验证/预测数据的百分比.如果数据过多,或正在调试可以使用。1.0Union[int, float] (float = 比例, int = num_batches).
fast_dev_run如果设定为true，会只执行一个batch的train, val 和 test，然后结束。仅用于debugFalsebool
accumulate_grad_batches每k次batches累计一次梯度None(无梯度累计)Union[int, Dict[int, int], None]
check_val_every_n_epoch每n个train epoch执行一次验证1int
num_sanity_val_steps开始训练前加载n个验证数据进行测试，k=-1时加载所有验证数据2int

硬件加速相关选项

参数名称含义默认值接受类型
accelerator设置硬加类型autoUnion[str, Accelerator]
devices使用多少设备,若为-1则使用全部可用设备autoUnion[List[int], str, int]
num_nodes分布式环境下使用多少GPU1int

额外的解释

  • 这里max_steps/min_steps中的step就是指的是优化器的step()，优化器每step()一次就会更新一次网络权重
  • 梯度累加(Gradient Accumulation)：受限于显存大小，一些训练任务只能使用较小的batch_size，但一般batch-size越大(一定范围内)模型收敛越稳定效果相对越好；梯度累加可以先累加多个batch的梯度再进行一次参数更新，相当于增大了batch_size。

Trainer.fit()

参数详解

参数名称含义默认值
modelLightningModule实例
train_dataloaders训练数据加载器None
val_dataloaders验证数据加载器None
ckpt_pathckpt文件路径(从这里文件恢复训练)None
datamoduleLightningDataModule实例None

ckpt_path参数详解（从之前的模型恢复训练）

​ 使用该参数指定一个模型ckpt文件（需要保存整个模型，而不是仅仅保存模型权重），Trainer将从ckpt文件的下一个epoch继续训练。

示范
net = MyNet(...)
trainer = pl.Trainer(...)
# 假设模型保存在./ckpt中
trainer.fit(net, train_iter, val_iter, ckpt_path='./ckpt/myresult.ckpt')
使用注意
  • 请不要使用Trainer()中的resume_from_checkpoint参数，该参数未来将被丢弃，请使用Trainer.fit()的ckpt_path参数

Trainer.test()和Trainer.validate()

参数详解

参数名称含义默认值
modelLightningModule实例None
verbose是否打印测试结果True
dataloaders测试数据加载器(可以使torch.utils.data.DataLoader)None
ckpt_pathckpt文件路径(从这里文件恢复训练)None
datamoduleLightningDataModule实例None
  • Returns:测试/验证期间相关度量值的字典列表（列表长度等于测试/验证数据加载器个数），比如validation/test_step(), validation/test_epoch_end(),中的回调钩子
  • ckpt_path:如果设置了该参数则会使用该ckpt文件中的权重，否则如果模型已经训练完毕则使用当前权重，其他情况如果配置了checkpoint callbacks则加载该checkpoint callbacks对应的最佳模型

Trainer.predict()

参数详解

参数名称含义默认值
modelLightningModule实例None
dataloaders数据加载器None
ckpt_pathckpt文件路径(从这里文件恢复训练)None
datamoduleLightningDataModule实例None
return_predictions是否返回结果，目前不支持设置None(True)
  • ckpt_path:使用该ckpt文件中的权重，如果为None如果模型已经训练完毕则使用当前权重，其他情况如果配置了checkpoint callbacks则加载该checkpoint callbacks对应的最佳模型

使用注意

  • preict()中会禁用日志功能

Trainer.tune()

功能解释

  • 对模型超参数进行调整

常用参数

参数名称含义默认值
modelLightningModule实例
train_dataloaders训练数据加载器None
val_dataloaders验证数据加载器None
datamoduleLightningDataModule实例None
scale_batch_size_kwargs传递给scale_batch_size()的参数None
lr_find_kwargs传递给lr_find()的参数None

使用注意

  • auto_lr_find标志当且仅当执行trainer.tune(model)代码时工作

其他注意点

  • .test()若非直接调用，不会运行。
  • .test()会自动load最优模型。
  • model.eval() and torch.no_grad() 在进行测试时会被自动调用。
  • 默认情况下，Trainer()运行于CPU上。

Trainer属性

【Pytorch Lightning】Trainer API使用（二）
让算法融入生活，改变生活！
03-12 958
【Pytorch Lightning】Trainer API使用（一） benchmark 如果 true 启用 cudnn.benchmark。如果您的输入大小不变，此标志可能会提高系统的速度。但是，如果确实如此，那么它可能会使您的系统变慢。 加速来自允许 cudnn 自动调谐器为硬件找到最佳算法 # default used by the Trainer trainer = Trainer(benchmark=False) deterministic 如果 true 启用 cudnn.determin
【Pytorch Lightning】Trainer API使用（一）
让算法融入生活，改变生活！
03-11 1722
书写完模型之后，下面就需要书写模型训练的逻辑了。 将 PyTorch 代码组织到 LightningModule 后，Trainer 会自动执行其他所有操作。 官方视频 这种抽象实现了以下目标： 您可以通过 PyTorch 代码保持对所有方面的控制，而无需添加抽象。 Trainer使用来自顶级 AI 实验室（如 Facebook AI Research、NYU、MIT、Stanford 等）的贡献者和用户嵌入的最佳实践…… Trainner允许覆盖您不希望自动化的任何关键部分。 基本使用 model =
【Hugging Face】transformers 库中的 Trainer：简化 PyTorch 模型的训练、评估和推理
最新发布
彬彬侠的博客
03-09 664
Trainer是Hugging Face transformers库提供的一个高级API，用于简化PyTorch模型的训练、评估和推理，适用于文本分类、翻译、摘要、问答等NLP任务。它支持：自动批量训练，多GPU训练，自动梯度累积，混合精度训练，模型评估，与datasets兼容的数据加载只需几行代码即可完成数据加载、训练、评估、推理。支持多GPU、混合精度训练，优化计算资源使用。适用于NLP任务的Transformer微调，如果需要更精细的控制，可使用PyTorch原生训练循环。
Pytorch-Lightning中的训练器—Trainer
愿有人陪你颠沛流离！
01-22 1万+
Pytorch-Lightning中训练器Trainer用法
Pytorch-Lightning中的训练器--Trainer
kuxingseng123的博客
01-30 9659
慢慢的将其常用库都给其搞明白，明天开始马慢慢的将Lighting代码框架全部搞定。
Pytorch-Lighting中Trainer参数的解读
qq_45045793的博客
04-16 5762
对Pytorch-Lighting中Trainer参数的解读
PyTorch Lightning Trainer介绍
qq_27390023的博客
02-12 578
PyTorch Lightning 的 Trainer 是框架的核心类，负责自动化训练流程、分布式训练、日志记录、模型保存等复杂操作。通过配置参数即可快速实现高效训练，无需手动编写循环代码
基于PyTorch与PyTorch-Lightning进行人工神经网络模型与CNN模型的构建.zip
07-09
准备阶段，使用 PyTorch-Lightning 进行训练框架的搭建。 在{model_name}_main.py 入口脚本（例如 cnn_main.py）中设置 Global Seed 为 42，使用自定义的 MnistDataLoader 作为训练数据，使用 pl.Trainer()对模型...
Pytorch-lightning
whaosoft143ai的博客
01-28 836
通常来说，在你的模型搭建好之后，大部分的功能都会被封装在一个叫trainer的类里面。如果是使用google colab，由于它创建的是一个虚拟机，不能及时保存，所以如果需要保存，挂载自己google云盘也是有必要的。但是其实大部分人用不到很多复杂得功能，并且用的时候稍微有一些不灵活。的代码是在terminal中运行的。训练过程在tensorboard里面记录，version0是第一次的训练，version1是重载后的结果。但经过我的测试，好像pl的seed_everything函数应该更全一点。
pytorch-lightning-snippets:我的PyTorch Lightning项目的代码片段集合
03-08
PyTorch闪电片段 围绕PyTorch Lightning收集的有用工具。...from pytorch_lightning import Trainer model = YourLightningModule () monitor = TrainingDataMonitor ( row_log_interval = 25 ) trainer = Trai
“简约版”Pytorch —— Pytorch-Lightning详解
热门推荐
weixin_46062098的博客
11-16 2万+
PyTorch-Lightning介绍安装实用功能Automatic Batch Size Finder - 自动获取Batch SizeAutomatic Learning Rate Finder - 自动获取初始学习率Reload DataLoaders Every Epoch - 重新加载数据Callbacks - 回调函数Weights Summary - 展示网络信息Progress Bar - 进度条Training and Eval Loops - 训练以及测试循环Training on GP
pytorch-lightning学习
Di_iii的博客
04-02 2181
PL的流程 很简单，生产流水线，有一个固定的顺序： 初始化 def init(self) --> 训练 def training_step(self, batch, batch_idx) --> training_step_end(self，batch_parts) --> training_epoch_end(self, training_outputs) 校验 def validation_step(self, batch, batch_idx) --> … 测试 def tes
pytorch_lightning 训练教程
jacke121的专栏
05-07 952
pytorch_lightning 训练教程
Pytorch-Lighting使用教程（MNIST为例）
huarzail的专栏
06-01 5156
pytorch-lighting（简称pl），基于 PyTorch 的框架。它的核心思想是，将学术代码（模型定义、前向 / 反向、优化器、验证等）与工程代码（for-loop，保存、tensorboard 日志、训练策略等）解耦开来，使得代码更为简洁清晰。
Pytorch Lightning框架：使用笔记【LightningModule、LightningDataModule、Trainer、ModelCheckpoint】
u013250861的博客
03-19 2万+
pytorch是有缺陷的，例如要用半精度训练、BatchNorm参数同步、单机多卡训练，则要安排一下Apex，Apex安装也是很烦啊，我个人经历是各种报错，安装好了程序还是各种报错，而pl则不同，这些全部都安排，而且只要设置一下参数就可以了。另外，根据我训练的模型，4张卡的训练速度大概提升3倍，训练效果（图像生成）好很多，真香。另外，还有一个特色，就是你的超参数全部保存到模型中，如果你要调巨多参数，那就不需要再对每个训练的模型进行参数标记了，而且恢复模型时可以直接恢复超参数，可以大大减小代码量和工作量，这.
PyTorch Lightning入门教程（一）
kejizuiqianfang的博客
08-22 5006
因为最近在学习pytorch lightning，所以这里记录一下学习的内容，这一节记录简单的入门教程，下一节预计介绍如何进行多GPU训练。pytorch lightning作为pytorch的一个拓展架构，可以减少很多与数据处理以及模型搭建无关的代码，增加工程效率。因为在编写训练代码的时候，很多时候需要兼顾编写学习率的schedule代码，记录log的代码等等。实际上，模型相关代码可能需要的时间还不如调试这些辅助的代码所需要的时间。而pytorch lightning这类框架就可以解决上面的问题。
[PyTorch][PyTorch Lightning]：断点续训
Bin_Dut的博客
05-14 3146
日志：保存训练过程中的日志信息，包括损失、指标和训练时间等信息。对象的状态，包括当前的 epoch 和 batch 等信息。优化器状态：保存优化器的状态，包括当前的学习率和动量等信息。参数来控制是否保存模型的权重、最后一次保存的模型权重和。，则只会保存模型的权重，而不会保存其他信息。在需要从断点继续训练的时候，创建一个新的。参数来指定要继续训练的模型状态的路径。对象的状态以及其他信息。参数来指定要恢复训练的检查点路径。参数，以指示从该检查点处恢复训练。回调来保存模型的状态。模型权重：保存模型的权重参数。
Pytorch—lightning初次使用
weixin_44323744的博客
03-02 3562
第一次使用lightning，之前看过很多关于lightning的讲解，直到看到这一篇才真的有点知道lightning的意义：从PyTorch到PyTorch Lightning —简要介绍 - 云+社区 - 腾讯云 (tencent.com)。今天实际操作一下： 1.Data部分 Data部分目的是生成TrainDataLoader，需要数据准备，数据加载 ...
pytorch_lightning 全程笔记
qq_40837764的博客
12-06 6375
原文地址：pytorch_lightning 全程笔记 - 知乎 前言 本文会持续更新，关于pytorch-lightning用于强化学习的经验，等我的算法训练好后，会另外写一篇记录。 知乎上已经有很多关于pytorch_lightning (pl)的文章了，总之，这个框架是真香没错，包括Install，从pytorch代码转pytorch_lightning，都是很轻松，问题是我们怎么去用他。已经有很多的文章和博客都介绍了pl，我这里，主要记录一些我前几天应用的干货。 对于个人而言，为什么要用py
PyTorch-Lightning对应
02-08
### PyTorch-Lightning介绍 PyTorch-Lightning 是一种简化深度学习模型训练过程的库，旨在使研究人员能够专注于研究本身而不是工程细节[^1]。通过该工具包可以更高效地编写结构化清晰、易于维护的研究代码。 #### 特点概述 - **解耦业务逻辑**：将数据处理、模型定义以及训练循环分离出来； - **跨平台支持**：无论是单机多卡还是分布式环境都能轻松切换配置而无需修改大量底层实现； - **内置最佳实践**：提供了许多经过验证的最佳做法来加速实验迭代并提高性能； #### 安装方式 对于不同需求场景下有多种安装途径可供选择： - 使用 `pip` 工具直接从Python Package Index获取最新稳定版： ```bash pip install pytorch-lightning ``` - 如果偏好Anaconda/Miniconda生态系统，则可以通过Conda渠道获得相同效果： ```bash conda install pytorch-lightning -c conda-forge ``` 需要注意的是，在安装过程中要确保所选版本之间的兼容性问题，即保持PyTorch Lightning与PyTorch本身的版本匹配以避免潜在冲突[^3]。 --- 下面给出一段简单的例子展示如何利用此框架快速搭建一个基于MNIST手写数字识别任务的基础网络架构： ```python import torch from torch.nn import functional as F from torchvision.datasets import MNIST from torchvision.transforms import ToTensor, Normalize, Compose from torch.utils.data.dataloader import DataLoader import pytorch_lightning as pl class LitModel(pl.LightningModule): def __init__(self): super().__init__() self.l1 = torch.nn.Linear(28 * 28, 10) def forward(self, x): return torch.relu(self.l1(x.view(x.size(0), -1))) def training_step(self, batch, batch_nb): x, y = batch loss = F.cross_entropy(self(x), y) return {'loss': loss} def configure_optimizers(self): return torch.optim.Adam(self.parameters(), lr=0.02) if __name__ == '__main__': transform = Compose([ToTensor(), Normalize((0.1307,), (0.3081,))]) dataset = MNIST('', train=True, download=True, transform=transform) loader = DataLoader(dataset, batch_size=32) model = LitModel() trainer = pl.Trainer(max_epochs=1) trainer.fit(model, loader) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值