深度学习
文章平均质量分 63
小肥柴不是小废柴
CV,NLP方向的算法
展开
-
深度学习分布式训练实战(一)
本系列博客主要介绍使用Pytorch和TF进行分布式训练,本篇重点介绍相关理论,分析为什么要进行分布式训练。后续会从代码层面逐一介绍实际编程过程中如何实现分布式训练。文章目录常见的训练方式单机单卡(单GPU)单机多卡(多GPU并行)多机多卡(分布式)为什么要使用分布式训练Batch Size对训练的影响分布式训练实现方式数据并行模型并行混合并行多GPU训练的参数更新方式总结常见的训练方式单...原创 2018-10-03 18:47:21 · 12351 阅读 · 3 评论 -
深度学习分布式训练实战(二)——TF
本篇博客主要介绍TF的分布式训练,重点从代码层面进行讲解。文章目录参数同步更新的分布式训练参数异步更新的分布式训练参数同步更新的分布式训练参数异步更新的分布式训练...原创 2018-10-06 12:02:02 · 1881 阅读 · 0 评论 -
bigGAN: LARGE SCALE GAN TRAINING FOR HIGH FIDELITY NATURAL IMAGE SYNTHESIS
论文地址:bigGAN这篇paper还在ICLR2018的审稿当中,但是由于效果太惊艳,已经引起了广泛的讨论。这篇介绍的GAN模型用于生成高清图像,其生成的图像质量非常高,高到可以以假乱真的程度。先来几张感受一下:作者的工作主要体现在以下三点:...原创 2018-10-06 23:32:07 · 1700 阅读 · 0 评论