![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
torch
文章平均质量分 82
pytorch
yichudu
code anything
展开
-
pytorch 中的数据集与多进程并发
需要 Dataset + collate_fn + Sampler + DataLoader 联用, 才等价于 tf 的 dataset.原创 2023-06-20 14:58:53 · 1489 阅读 · 0 评论 -
transformers库中torch的train loop设计
工作较为琐碎. 我用 train loop 统一代指, 因为主流程在内, 是一个 loop.transformers 是一个流行的预训练模型库, 我想学习并复用它的 train loop 设计.原创 2023-05-29 11:45:27 · 1787 阅读 · 0 评论 -
pytorch autograd 自动微分与梯度更新
pytorch 内置了常见 tensor 操作的求导解析解. 从 loss 到 parameter 是若干个 op 叠加起来的复合函数, 所以用链式法则逐个计算.tensor.grad_fn 记录了一个 tensor 是由何种运算产出的, 以及相应的求导解析解.原创 2022-09-20 17:55:22 · 1222 阅读 · 0 评论 -
torch 完整任务笔记
torch 完整任务笔记原创 2022-06-15 14:36:36 · 286 阅读 · 0 评论 -
torch, cuda, 单机多卡与DDP分布式
scatter()方法将一个batch的数据散列成若干份, 同 device 个数相等, 便于数据并行. 在单机多卡环境, pdb debug有印证.构造调用如 net = torch.nn.DataParallel(model, device_ids=[0, 1, 2]).报错显示 A10 型号的gpu较新, 我实际安装的的是 cuda_10.2, 重装 cuda_11.3 应该就好了.验证cuda {硬件, 驱动, 库} 是否就绪, 通过。简单讲, 高版本cuda兼容低版本硬件, 反之则不行.原创 2021-11-24 17:48:49 · 2698 阅读 · 0 评论 -
torch 常用类与方法
dataset通过 from torch.utils.data import IterableDataset, DataLoader 引入.典型用法如 loader=DataLoader(dataset:Dataset), 二者一起等价于 tf 的 dataset.流式数据典型场景是内存盛不下, 网络数据库->dataset->model feed 流式运作.例子见下.from torch.utils.data import IterableDataset, DataLoader原创 2021-11-23 20:44:24 · 3081 阅读 · 0 评论