sys-ML
文章平均质量分 94
Warmchay
慢慢进步,慢慢记录
展开
-
Fate试验 MBP & ECS两种方式
Fate安装 Mac & ECS1 安装前的提示分别尝试了用Mac单机和ECS上使用Docker安装,在实践的过程中出现的环境bug为:Mac因为ip改到了外网,而FATE服务器似乎需要在国内才能运行,出现了开VPN,quick_run.py运行不成功;不开VPN,纯连国内网,quick_run.py掉线,因为我的VPN端口号不在8080上,与FATE要求的8080端口号不对准,出现了掉线问题。想了想,还是用Docker来弄吧Docker注意,这里的Docker不是说你在Do原创 2021-06-03 12:11:26 · 350 阅读 · 0 评论 -
Deep Nets Sublinear Memory Cost 笔记
Deep Nets Sublinear Memory Cost论文链接:arXiv:1604.06174Abstract设计一个算法,训练一个N层网络仅耗费O(n)O(\sqrt{n})O(n)的内存,每个mini-batch只需要一个额外的前向计算成本,因为许多先进的模型已经达到了GPU显存的上限,需要去探索更深入更复杂的模型,推进深度学习研究的创新。这个算法专注于降低训练期间存储中间特征图和梯度的内存成本,计算图(DAG)分析用于automatic in-place operation和内存共原创 2021-06-04 17:54:59 · 707 阅读 · 0 评论