TensorFlow btc allocator

最新推荐文章于 2022-05-01 10:58:36 发布
最新推荐文章于 2022-05-01 10:58:36 发布
阅读量346 收藏 1
点赞数 1
分类专栏： TensorFlow源码解析 文章标签： tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/anker_wang/article/details/117627439
版权
本文探讨了TensorFlow中GPU的BFC（Best Fit with Coalescing）allocator的工作原理，包括其创建过程、显存分配策略以及如何查看当前实际使用显存量。BFC allocator在显存不足时会翻倍申请，可能导致实际使用小于申请量的情况。通过修改分配策略或使用特定Op（MaxBytesInUse）可以更有效地监控和管理GPU显存。
摘要由CSDN通过智能技术生成

    主要写GPU 的bfc allocator，业务需要稍微调研了一下，写个大概，很多细节没有去看。

一、源码

1、BaseGPUDeviceFactory::CreateGPUDevice中使用GPUProcessState单例调用process_state->GetGPUAllocator  创建GPU allocator
2、GetGPUAllocator 实例化allocator

    其中sub_allocator 也就是GPUMemAllocator是通过stream去调用GPU alloc显存的接口，也就是实际去申请GPU显存的allocator，sub_allocator由GPUBFCAllocator控制使用。GPUBFCAllocator是BFCAllocator的子类，通过多态BFCAllocator的基类指针指向GPUBFCAllocator对象。

3、显存的申请策略

    简要说明一下实际申请显存的策略，具体的显存分配算法没有看。

    显存的申请函数是AllocateRaw，释放函数是DeallocateRaw。AllocateRaw的策略是直接通过sub_allocaotr申请大块的显存，然后通过分配算法将合适的一块显存首地址返回，如果剩下的显存不够分配了，再通过sub_allocator直接申请翻倍的显存，如当前已有1G的显存，用完后会再申请1G，变成2G，因此显存的实际申请是1G->2G->4G->8G->16G， 一直到最后剩下可申请的全部申请完，如果显卡显存不够了，且TF的一

最低0.47元/天 解锁文章
anker_wang
关注
专栏目录
TensorFlow中的显存管理器——BFC Allocator
weixin_30632089的博客
05-04 682
背景 作者：DeepLearningStack，阿里巴巴算法工程师，开源TensorFlow Contributor] 使用GPU训练时，一次训练任务无论是模型参数还是中间结果都需要占用大量显存。为了避免每次训练重新开辟显存带来计算之外的开销，一般框架的做法是在真正的训练任务开始前，将每个节点的输入和输出，以及模型参数的shape计算出来并全局开辟一次，例如Caffe就是这种做法。随...
Tensorflow之class Allocator
星空探索
09-11 554
class Allocator {  public: #ifdef EIGEN_VECTORIZE_AVX512   static constexpr size_t kAllocatorAlignment = 64; #else   static constexpr size_t kAllocatorAlignment = 32; #endif   virtual ~Allo
Tensorflow训练之Allocator (GPU_0_bfc) ran out of memory trying to allocate 1.00MiB.
热门推荐
Candy_GL的博客
05-28 2万+
减少batchsize的大小
Tensorflow中的内存分配
weixin_42721176的博客
06-07 1132
Tensorflow系统复杂，支持平台多，各类数据结构也多，所以设计一个统一的内存管理分配接口很重要。本文主要探讨tensorflow中的内存分配的相关机制，会重点研究其中实现的两种分配算法。 内存分配是系统中非常重要的一环，大家平常接触最多的就是malloc(new)和free(delete)。也就是分配和施放，在tensorflow中也是这样。Tensorflow提供了一个公共的接口类，Allocator类，该类提供了两个重要的方法： AllocateRaw分配内存，DeallocateRaw施
Tensorflow 源码分析-  从GPU OOM开始说Tensorflow的BFC内存管理
沧海一粟
05-04 8427
前言在平台上跑GPU训练，结果CUDA OOM了，错误提示E Internal: failed initializing StreamExecutor for CUDA device ordinal 0: Internal: failed call to cuDevicePrimary CtxRetain: CUDA_ERROR_OUT_OF_MEMORY; total memory repor...
NeuroEvolution-BTC-Trader：使用tensorflow建立大量交易加密和迭代变异的模型
01-30
Tensorflow NeuroEvolution BTC交易者 Tensorflow用于构建可迭代繁殖和变异的模型。 给定指定的网络拓扑并分配随机权重来构建初始种群。 对于每一代，这些权重都是随机变异的，并且根据其性能为每个网络分配适合度值...
BTC.rar_BTC matlab_BTC matlab_btc_matlabbtc_matlab图像
09-20
标题中的“BTC.rar_BTC matlab_BTC matlab_btc_matlabbtc_matlab图像”表明这是一个与比特币（BTC）相关的项目，使用MATLAB语言来处理图像，并且涉及到BTC编码技术。MATLAB是一种强大的数学计算软件，常用于数据分析...
BTC.rar_btc_btc compression_btc图像压缩
09-14
非常重要的圖像壓縮BTC轉換 歡迎參考
BTC价格代码「BTC Price Ticker」-crx插件
03-23
快速查看BTC价格。如果你喜欢，你可以在这里捐赠：1BMowQLgHNnEeqkB3JNJnURVTYsYTB91c2 简单的BTC价格行情扩展。 价格来自CoinCap。 如果您喜欢此应用程序/扩展名，则可以在此处捐赠：BTC：1BMowQLgHNnEeqkB3...
tensorflow之常用工具类
wyg_031113的专栏
05-01 1335
tensorflow 工具类：ThreadPool Env FileSystem
TensorFlow内存管理bfc算法
qihao
08-22 5208
1. 基本介绍 tensorflow设备内存管理模块实现了一个best-fit with coalescing算法（后文简称bfc算法）。 bfc算法是Doung Lea’s malloc(dlmalloc)的一个非常简单的版本。 它具有内存分配、释放、碎片管理等基本功能。 2. bfc基本算法思想1. 数据结构 整个内存空间由一个按基址升序排列的Chunk双向链表来表示，它们的直接前趋和后继必须在
tensorflow/core/common_runtime/bfc_allocator.cc:661] Chunk at 0x523cd7d00 of size 2048
专心扫地
08-11 7558
参考链接：https://blog.csdn.net/SHAOYEZUIZUISHAUI/article/details/99172450 问题： tensorflow/core/common_runtime/bfc_allocator.cc:661] Chunk at 0x523cd7d00 of size 2048 tensorflow/core/common_runtime/bfc_a...
深度学习实战教程（3）--（TensorFlow）inception_v4模型跑Google Flower数据集
对角巷
07-27 2万+
模型：slim框架下的Inception_v4模型 Inception_v4的Checkpoint：http://download.tensorflow.org/models/inception_v4_2016_09_09.tar.gz 数据集：google的flower数据集http://download.tensorflow.org/example_images/flower_photos.
tensorflow学习（6） 保存运行数据 saver
weixin_40820983的博客
12-11 1401
import tensorflow as tf v1 = tf.Variable(tf.random_normal([1,2]), name="v1") v2 = tf.Variable(tf.random_normal([2,3]), name="v2") init_op = tf.global_variables_initializer() saver = tf.train.Saver()...
tensorflow内存分配器剖析
jiangbo1017的专栏
11-24 1217
tensorflow基于Doug Lea的malloc实现了自己的一套内存分配器．（简易版本的dlmalloc）通过合并的方式减少内存碎片．前提是假设使用这个分配器的进程拥有很大的内存，并且所有的内存分配请求都是通过这个接口． 代码路径： core/common_runtime/bfc_allocator.h关键数据结构以及变量含义： Chunk：指向一块内存，prev/next指针组成了一个
TensorFlow学习笔记（7）--实现卷积神经网络（同(5),不同的程序风格）
对角巷
03-15 2万+
实现卷积神经网络，MNIST数据集
tensorflow学习系列
weixin_43821150的博客
03-12 961
一、logistic regression tf.placeholder( ) x = tf.placeholder(“float”,[None,784]) 注： tf.placeholder( dtype, shape=None, name=None) 参数： dtype：数据类型。常用的是tf.float32,tf.float64等数值类型 shape：数据形状。默认是None，就是一维值...
tensorflow平台极简方式_极简入门TensorFlow 内存管理
weixin_30855927的博客
12-29 256
前记这段时间，工作当中杂事比较多，有点像充当产品经理，去给算法业务的同学去安利我们最近完成的一些东西，感觉自己几乎没啥提升，希望这样的日子快点过去，公众号也落下了，主要原因是最近事比较多，又加上还迷上了抖音 什么东北酱，周末一躺就过去了。加上最近网上暴力被裁事情、明星猝死，突然发现中年危机可能就要在眼前，作为最老一批90年后，也马上要30了，但是觉得荒废下去好像也是蛮爽的。哎，迷茫而惆怅的中年危机...
btc钱包 node
最新发布
08-30
引用: 如果要使用docker容器中的btc节点，请取消注释fdocker-compose文件的btcd-testnet部分，并在cmd/multy.config BTCNodeAddress字段中设置其地址。 引用:通过统一的界面获取300多种加密货币的钱包余额。 与：可选的API密钥支持，用TypeScript编写，使用node-fetch而不是弃用的request，较小的图书馆。 根据以上引用内容，btc钱包 node是指在docker容器中的btc节点，可以通过设置docker-compose文件中的btcd-testnet部分，并在cmd/multy.config 的BTCNodeAddress字段中设置节点的地址获取。该节点可以用于获取多种加密货币的钱包余额，并且支持可选的API密钥。这个节点是用TypeScript编写的，并使用了node-fetch库，相对较小。<span class="em">1</span><span class="em">2</span> #### 引用[.reference_title] - *1* [Multy-back：Multy的后端-移动Multy区块链钱包](https://download.csdn.net/download/weixin_42134168/14974063)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* [balance-crypto:with通过统一的界面获取300多种加密货币的钱包余额](https://download.csdn.net/download/weixin_42169245/15910733)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值