tensorflow 奇技淫巧
文章平均质量分 84
RicardoOzZ
量化投资领域的羔羊
展开
-
tensorflow2.x(三)用mlflow平台管理参数与模型
前两篇文章详细讲解了如何并行训练多个tf模型,要知道对于深度学习模型,批量训练不同模型结构、不同参数都是家常便饭。如果你还是手动整理参数结果、手动整理模型,或者充其量使用tensorboard来观察训练曲线,那就太low啦!这里,我们介绍如何使用Mlflow平台来管理tensorflow模型。原创 2022-01-31 00:17:54 · 2457 阅读 · 0 评论 -
tensorflow2.x(一) 显存不够或内存不够要怎么办?
很多教程说用更小的样本数、更少的batchsize等等。。。其实都是治标不治本。题主首先遇到的问题是内存不够,原创 2021-12-24 15:12:27 · 5675 阅读 · 0 评论 -
tensorflow2.x(二)多进程并行模型
在上一篇文章中,我们解决了tensorflow在大样本训练中内存不足的问题,但是可能无法最大化利用GPU资源,在这篇文章中,我们继续挖掘如何充分利用GPU资源,将显卡的内存、算力全部拉满。为了进一步挖掘显卡性能,进一步提升资源利用率,进一步解放双手,在这篇文章中,我们试图使用多进程,分配不同的显卡资源给多个模型,同时并行训练多个模型。(虽然tf官方也有将显卡并行,使用多张显卡资源来提升计算效率的解决方案,但是仍然需要多源模型代码进行相关改变,且在笔者当下的尝试中,这种并行在生成环境中并不稳定)因此,这原创 2022-02-02 23:36:29 · 3352 阅读 · 2 评论