问题记录:为什么使用GPU训练模型会越来越慢?
本篇没前言,没总结,就仅仅是记录下我的一个“傻瓜式”代码。。。。。。
在RPN上修改我的代码,使用GPU跑训练越来越慢,每次迭代消耗时间越来越大。
经过仔细查找,发现犯了一个sb错误,在每次迭代都是新建了一个读gt的新图,这样会使整个图越来越来,训练越来越慢,最终导致内存爆了。
怎么排查?
答:在session定义下使用sess.graph.finalize(),运行,如果报错,就说明问题和我说的一样,那么就一步步排查吧。
本篇没前言,没总结,就仅仅是记录下我的一个“傻瓜式”代码。。。。。。
在RPN上修改我的代码,使用GPU跑训练越来越慢,每次迭代消耗时间越来越大。
经过仔细查找,发现犯了一个sb错误,在每次迭代都是新建了一个读gt的新图,这样会使整个图越来越来,训练越来越慢,最终导致内存爆了。
怎么排查?
答:在session定义下使用sess.graph.finalize(),运行,如果报错,就说明问题和我说的一样,那么就一步步排查吧。