- 博客(2)
- 收藏
- 关注
转载 GIL全局锁(Global Interpreter Lock)
GIL是什么 GIL并不是Python的特性,它是在实现Python解析器(CPython)时所引入的一个概念,而CPython是大部分环境下默认的Python执行环境。GIL 全称 gloabl interpreter lock (全局解释器锁) ,官方解释: In CPython, the global interpreter lock, or GIL, is a mutex that ...
2019-04-24 16:29:57 450
转载 分布式训练模式
来源:https://www.cnblogs.com/hellcat/p/9193432.html 1,PS-worker架构 将模型维护和训练计算解耦合,将模型训练分为两个作业(job): 模型相关作业,模型参数存储、分发、汇总、更新,有由PS执行 训练相关作业,包含推理计算、梯度计算(正向/反向传播),由worker执行 该架构下,所有的woker共享PS上的参数,并按照相同的数据流图...
2019-04-11 19:12:36 1211
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人