- 博客(6)
- 收藏
- 关注
RSS订阅原创 Horovod之分布式训练的使用(tensorflow)，注意事项以及加速优化
文章目录Horovod原理Horovod 安装Tensorflow例子1. Session(不使用hooks)2. MonitoredTrainingSession版本(使用hooks)运行注意事项注意事项总结分布式训练总结参考资料最近由于工作需要，重新研究了下horovod。Horovod原理详细可看原论文总结:Horovod 使用ring-all-reduce分布式计算方式运行过...
2020-04-13 15:23:18
3058
原创 gitlab内存或者cpu占用过高解决方法(unicorn, 交换分区,Prometheus)
文章目录gitlab内存或者cpu占用过高1.常规做法，把unicorn的worker改小2.如果free -m 发现交换分区不足，可以添加swap分区3.Prometheus占用过高gitlab内存或者cpu占用过高1.常规做法，把unicorn的worker改小修改 /etc/gitlab/gitlab.rbunicorn['worker_processes'] = 2unicorn...
2019-10-12 15:31:42
6791
原创 使用二进制或者bin提升读取png,jpg等图片的速度
使用二进制或者bin提升读取png,jpg等图片的速度使用bin优化提升加载速度，不用解码。代码# originalimg = imageio.imread(f)# improvedef check_and_transform(ext, img, bin, verbose=True): """如果bin文件不存在或者使用reset模式: 则使用imageio.imr...
2019-09-11 11:27:21
1169
原创 深度学习训练速度的提高的一些浅见(1)gpu,cpu,硬盘等硬件
文章目录背景可能的瓶颈本身训练代码(软件)可能的问题服务器(硬件)的问题硬件可能的问题CPUCPU的主要问题解决方案GPUGPU的主要问题硬盘io硬盘io的主要问题内存内存的主要问题解决方法总结本文着重于硬件方面的问题，代码方面的问题后续会讨论。背景多人使用一台服务器，常常会发生由于某个任务占用某个计算资源(cpu,gpu,内存，硬盘io等)过多，而导致其他任务由于该计算资源过少而训练速度过...
2019-08-29 16:52:40
5036
原创 深度学习推荐工具链
文章目录推荐工具链1.编辑器idePycharmsublime textAtom2.服务器工具xshell, xftp3.深度学习训练框架4.其他参考资料推荐工具链1.编辑器idePycharm本地编辑，远程服务器同步，远程调试。Pycharm配置远程调试sublime text本地代码编辑AtomMarkdown编辑器2.服务器工具xshell, xftp使用ssh连接远...
2019-08-29 15:46:38
468
原创 ubuntu必备软件安装命令
新装Ubuntu必备软件（Update to 2016/05/18）更新Ubuntu各部件到最新版本新装Ubuntu必备软件更新Ubuntu各部件到最新版本一些必备的Ubuntu部件安装一些必备的软件PythonAnaconda最新版TheanoBlocksFuelAnaconda安装最新版 Theano and BlocksSublime Text 3Google ChromeP
2016-05-18 20:00:02
2343
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人