TensorFlow源码解析
文章平均质量分 80
anker_wang
这个作者很懒,什么都没留下…
展开
-
TensorFlow btc allocator
主要写GPU 的bfc allocator,业务需要稍微调研了一下,写个大概,很多细节没有去看。一、源码1、BaseGPUDeviceFactory::CreateGPUDevice中使用GPUProcessState单例调用process_state->GetGPUAllocator 创建GPU allocator2、GetGPUAllocator 实例化allocator 其中sub_allocator 也就是GPUMemAllocator是通过stream去调用...原创 2021-06-06 15:52:41 · 351 阅读 · 0 评论 -
TensorFlow图优化(一)-CSE(公共子表达式消除)
TensorFlow中有很多图优化,包括公共的优化策略和针对设备的特殊优化,有兴趣可以针对自己的网络设计专门的优化。对于大型公司来说,为了提高计算效率进行专门优化很有必要,对于个人学者来说,不如买个更牛逼的卡。一、图优化的执行时序 图优化的入口是第一次创建Session后,执行Sess Run时会创建executor,即调用CreateExecutors()。这个接口中有两个...原创 2019-12-31 23:04:37 · 2262 阅读 · 1 评论 -
TensorFlow图优化(二)-Remapper,layout
上回说到CreateExecutors中有两个分支进行图优化,一个执行的是GraphOptimizer父类的优化,另一个执行的是子类的图优化。上一篇介绍了父类优化中的CSE,这篇介绍一下子类优化的流程一、优化流程 每种优化子类继承自父类GraphOptimizer,而且与父类有完全不同的执行过程。其中MetaOptimizer虽然也是优化子类,但是并没有实现一种特定的优化,而...原创 2020-01-02 00:10:44 · 970 阅读 · 0 评论