深度学习
江洋大盗与鸭子
机器学习小队伍,从人脸识别,表情识别做起
专注机器学习,模式识别,深度学习,知识大讲堂,从事高速信号采集处理,智能信息处理,计算机视觉,智能机器人,人机交互的软硬件研究
利用图像做的疲劳驾驶方向
展开
-
医学图像数据增强——分割/生成训练篇
请参照链接:通用医学图像增强原创 2021-04-08 11:25:18 · 1329 阅读 · 0 评论 -
pytorch分布式计算中遇到的坑—— GAN模型:pix2pix模型的discrimator在做torch.nn.parallel.DistributedDataParallel存在
坑1: GAN模型:pix2pix模型的discrimator在做torch.nn.parallel.DistributedDataParallel存在的问题描述参考代码:https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix, 这是一份极优秀的pytorch版本的GAN代码,代码中的多卡并行还是通过nn.DataParallel实现的,代码本身是没有问题的,当我把torch.nn.DataParallel改为torch.nn.parallel.D原创 2021-03-31 09:58:34 · 965 阅读 · 0 评论 -
pytorch分布式系列3——分布式训练时,torch.utils.data.distributed.DistributedSampler做了什么?
分布式训练时,torch.utils.data.distributed.DistributedSampler做了什么?试验用到的codeimport osimport sysimport torchimport torch.nn as nnimport torch.distributed as distimport torchvisionfrom torch.utils.data import Dataset, DataLoaderimport numpy as npclass原创 2021-03-29 14:03:25 · 14366 阅读 · 6 评论 -
pytorch分布式系列2——DistributedDataParallel是如何做同步的?
试验2: DistributedDataParallel是如何做同步的?在开始试验之前我们先说明DataParallel,当我们使用DataParallel去做分布式训练时,假设我们使用四块显卡去做训练,数据的batch_size设置为8,则程序启动时只启动一个进程,每块卡会分配batch_size=2的资源进行forward操作,当4快卡的forward操作做完之后,主进程会收集所有显卡的结果进行loss运算和梯度回传以及参数更新,这些都在主进程中完成,也就是说主进程看到看到的forward运算的结果原创 2021-03-26 15:30:47 · 4188 阅读 · 2 评论 -
pytorch分布式系列1——搞清torch.distributed.launch相关的环境变量
试验1:搞清torch.distributed.launch相关的环境变量试验用到的code:train.pyimport torchimport torch.distributed as distimport osimport timeprint(os.environ)dist.init_process_group('nccl')time.sleep(30)dist.destroy_process_group()试验过程在A机器上调用如下命令python -m tor原创 2021-03-25 15:27:15 · 21495 阅读 · 1 评论 -
自监督(self supervised)学习论文相关资料整理
自监督(self supervised)学习论文相关资料整理原创 2021-03-22 17:02:02 · 314 阅读 · 0 评论 -
如何将pytorch模型转换为tensorrt能够挂载的模型
如何将pytorch模型转换为tensorrt能够挂载的模型github链接安装必要的包安装pytorch/tensorflow/onnx/onnx_tfpython环境下,为了便于安装,可以将安装镜像改为国内的镜像,具体方法参见link安装时,直接pip安装即可,以下例子中所用到的版本tensorflow-gpu==1.15,onnx_tf==1.3模型转换pytorch模...原创 2019-11-19 09:15:11 · 5404 阅读 · 1 评论