![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
PyTorch 学习
文章平均质量分 79
PyTorch 学习,使用要点简洁梳理
Arthur.AI
人工智能算法工程师,对深度学习,计算机视觉,嵌入式AI,人脸识别,自动驾驶技术感兴趣的一起来交流吧!
展开
-
【pytorch】大模型训练张量并行
原始 Tensor Parallel (TP) 模型并行技术于Megatron-LM论文中被提出,是一种用于培育大规模Transformer模型的高效模型并行技术。我们在本练习指南中介绍的序列并行 (SP) 实际上是TP模型并行技术的一个变种,这里使用序列划分对 nn.LayerNorm 或 RMSNorm 进行划分,以节省在训练过程中的活动内存。随着模型体量的扩大,其运算内存就会成为主要瓶颈,因此TP模型并行技术通常是将序列并行应用于 LayerNorm 或 RMSNorm 层。原创 2024-06-03 17:47:18 · 1277 阅读 · 0 评论 -
【Pytorch学习】复现DCGAN训练生成动漫头像
先看一下结果:1,环境安装指令conda create -n pytorch python=3.7activate pytorchconda install pytorch torchvision torchaudio cudatoolkit=11.3 -c pytorchpip install matplotlibpip install IPythonpip install opencv-python2,训练过程先构建判别器和生成器,判别器和生成器有各自的损失函数,损失迭.原创 2022-02-18 14:22:03 · 1819 阅读 · 2 评论 -
【Pytorch学习】TensorBoard 可视化模型,以及训练过程
【Pytorch学习】TensorBoard 可视化模型,以及训练过程1,TensorBoard 设置与写入现在,我们将设置 TensorBoard,从torch.utils导入tensorboard并定义SummaryWriter,这是将信息写入 TensorBoard 的关键对象。#首先定义模型class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.co.原创 2022-02-16 10:02:15 · 2216 阅读 · 0 评论 -
【Pytorch学习】图像分类从逻辑回归到CNN
【Pytorch学习】图像分类从逻辑回归到CNN1,未调用torch.nn接口,原始编程实现最小的逻辑回归神经网络from pathlib import Pathimport requestsDATA_PATH = Path("data")PATH = DATA_PATH / "mnist"PATH.mkdir(parents=True, exist_ok=True)URL = "https://github.com/pytorch/tutorials/raw/master/_st原创 2022-02-15 20:33:33 · 1170 阅读 · 0 评论