Go语言的自动内存管理及优化(字节跳动Balanced GC优化方案)(Day5)

已于 2023-01-23 11:27:11 修改
阅读量459 收藏 1
点赞数 2
文章标签： go golang 算法
于 2023-01-20 11:06:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_69631269/article/details/128739756
版权

目录

>自动内存管理

>>自动内存管理-相关概念

>>追踪垃圾回收

>>回收步骤

 >>分代GC（Generational GC）

 >>引用计数

 >Go内存管理及优化

>>Go内存分配——分块

 >>Go内存分配——缓存

 >>Go内存管理优化

 >>字节跳动内存分配优化方案:Balanced GC

 >>Balanced GC——性能收益

>自动内存管理

  • 动态分配内存
    • 程序在运行时根据需求动态分配的内存：malloc（）
  • 自动内存管理（垃圾回收）：由程序语言的运行时系统管理动态内存
    • 避免手动内存管理，专注于实现业务逻辑
    • 保证内存使用的正确性和安全性：double-free proble，use-after-free problem
    • double-free proble：两次回收内存，use-after-free problem：回收内存后再使用
  • 三个任务
    • 为对象分配空间
    • 找到存活对象
    • 回收死亡对象的内存空间

>>自动内存管理-相关概念

  • Mutator：业务线程，分配新对象，修改对象指向关系
  • Collector：GC线程，找到存活对象，回收死亡对象的内存空间
  • Serial GC：只有一个collector

Mutator Pause后执行一个collector

  • Parallel GC：支持多个collectors同时回收的GC算法

Mutator Pause之后执行多个collectors同时回收

  • Concurrent GC：mutator(s)和collector(s)可以同时执行

 Collectors必须感知对象指向关系的改变！

  •  评价GC算法

    • 安全性（Safety）：不能回收存活的对象 基本要求
    • 吞吐率（Throughput）：花在GC上的时间，吞吐率越高越好
    • 暂停时间（Pause time）：stop the world(STW) 业务是否感知
    • 内存开销（Space overhead）GC元数据开销
  • 追踪垃圾回收（Tracing garbage collection）
  • 引用计数（Reference counting）

>>追踪垃圾回收

  • 对象被回收的条件：指针指向关系不可达的对象

  • 标记根对象

    • 静态变量，全局变量，常量，线程栈等

  • 标记：找到可达对象

    • 求指针指向关系的传递闭包：从根对象出发，找到所有可达对象

  • 清理：所有不可达对象

    • 将存活对象复制到另外的内存空间（Copying GC）
    • 将死亡对象的内存标记为“可分配”（Mark-sweep GC）
    • 移动并整理存活对象（Mark-compack GC）
  • 根据对象的生命周期，使用不同的标记和清理策略

>>回收步骤

>>>未标记之前

>>>标记根对象

 >>>标记根对象指针可以指向的对象，然后对象再一层一层的指向指针可指向的对象，传递闭包，从根对象出发，找到所有可达对象，将他们标记处理

 >>>清理所有的不可达对象，也就是没有指针指向的对象（虚线圈圈）

 Copying GC：将存活对象复制到另外的内存空间

 Mark-sweep GC：使用free list管理空闲内存，跳过存活对象

Mark-Compact GC：原地整理对象，将存活对象压缩

 >>分代GC（Generational GC）

  • 分代假说（Generational hypothesis）：most objects die young
  • Intuition：很对对象在分配出来后很快就不再使用了
  • 每个对象都有年龄：经历过GC的次数
  • 目的：针对年轻和老年的对象，指定不同的GC策略，降低整体内存开销
  • 不同年龄的对象处于heap的不同区域

  •  年轻代（Young generation）
    • 常规的对象分配
    • 由于存活对象很少，可以采用copying collection
    • GC吞吐率很高

  • 老年代（Old generation）
    • 对象趋向于一直活着，反复复制开销较大
    • 可以采用 mark-sweep collection

 >>引用计数

  •  每个对象都有一个与之关联的引用数目
  • 对象存活的条件：当且仅当引用数大于0
  • 优点
    • 内存管理的操作被平摊到程序执行过程中
    • 内存管理不需要了解runtime的实现细节：C++只能指针（smart pointer）
  • 缺点
    • 维护引用计数的开销较大：通过原子操作保证对引用计数操作的原子性和可见性
    • 无法回收环形数据结构——weak reference
    • 内存开销：每个对象都引入的额外内存空间存储引用数目
    • 回收内存时依然可能引发暂停

途中红色的环形数据结构无法回收，因为每一个对象的引用计数都不为0

途中的灰色就是需要被回收的对象，例如左下角，引用计数0的对象A要被回收了，A引用的引用计数1为B，因为对象A要被回收了，所以对象B的引用计数也会变为0，所以对象B也要被回收

o被p引用，此时o的引用计数为1，然后o又被q引用，此时o的引用计数为2，然后p,q都为空，此时o的引用计数为0，所以o要被回收。

 

 >Go内存管理及优化

>>Go内存分配——分块

  • 目标：为对象在heap上分配内存
  • 提前将内存分块
    • 调用系统调用mmap() 向OS申请一大块内存，例如4MB
    • 先将内存划分成大块，例如8KB，称作mspan
    • 再将大块继续划分成特定大小的小块，用于对象分配
    • noscan mspan：分配不包含指针的对象——GC不需要扫描
    • scan mspan：分配包含指针的对象——GC需要扫描
  • 对象分配：根据对象的大小，选择最合适的块返回

 >>Go内存分配——缓存

  • TCMalloc:thread caching
  • 每个p包含一个mcache用于快速分配，用于为绑定于p上的g分配对象
  • mcache管理一组mspan
  • 当mcache中的mspan分配wanbi，向mcentral申请带有未分配块mspan
  • 当mspan中没有分配的对象，mspan会被缓存在mcentral中，而不是立刻释放并归还给OS

 >>Go内存管理优化

  • 对象分配是非常高频的操作：每秒分配GB级别的内存
  • 小对象占比较高
  • Go内存分配比较耗时
    • 分配路径长：g->m->p->mcache->mspan->memory block->return pointer
    • pprof：对象分配的函数是最频繁调用的函数之一

 

 >>字节跳动内存分配优化方案:Balanced GC

  • 每个g都绑定一大块内存（1KB），称作goroutine allocation buffer(GAB)
  • GAB用于noscan类型的小对象分配：<128B
  • 使用三个指针维护GAB:base,end,top
  • Bump pointer(指针碰撞)风格对象分配
    • 无须和其他分配请求互斥
    • 分配动作简单高效

  •  GAB对于Go内存管理来说是一个对象
  • 本质：将多个小对象的分配合并成和一次达对象的分配
  • 问题：GAB的对象分配方式会导致内存被延迟释放
  • 方案：移动GAB中存活的对象
    • 当GAB总大小超过一定阈值时，将GAB中存活的对象复制到另外分配的GAB中
    • 原来的GAB可以释放，避免内存泄漏
    • 本质：用copying GC的算法管理小对象

 

根据对象的生命周期，使用不同的标记和清理策略

 >>Balanced GC——性能收益

今日晴空万里
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python库 | balanced-0.11.10.tar.gz
05-12
资源分类：Python库 所属语言：Python 资源全名：balanced-0.11.10.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
Zabbix proxy-agent通讯机制及balanced router设计
06-14
Zabbix server/proxy（下文以proxy指代server/proxy）与agent之间的通讯分为两种情况，分别是passive agent和active agent。Passive agent是指proxy主动与agent建立TCP连接，并直接发送请求接收结果。Active agent是指agent一方面主动向proxy请求监控项的元数据，另一方面按照指定的周期频率主动向proxy发送监测结果。 在分析zabbix通讯协议的基础上，本文提出一种位于zabbix active agent和proxy之间的balanced router服务，该服务可实现active agent与多个proxies之间的双向通讯中继。其使用收益在于active agent与proxies之间的解耦合以及负载均衡。Active agent配置固定的balanced router地址，当proxies发生调整时，只需要在balanced router上修改配置即可将流量切到新的proxies端，而不必修改agent端的配置。同时，host所对应的proxy可以在一组proxies之内自由切换，而不必担心agent端的配置。Balanced router可以同时存在多个，从而实现流量的负载均衡。 Balanced router可在内存中维护一个路由表，通过分析请求和响应的历史记录，路由表可进行自我学习，减少不必要的网络流量，提高系统可靠性。 本文的论述基于zabbix 3.0.10版本的源码分析。本文仅考虑zabbix agent的通讯，不涉及snmp agent、ssh agent、zabbix internal等的通讯。
NLTK，NLP，自然语言处理，自然语言分析，语料包
03-04
10,000 parsed sentences, drawn from the Academia Sinica Balanced Corpus of Modern Chinese. Parse tree notation is based on Information-based Case Grammar. Tagset documentation is available at http://www.sinica.edu.tw/SinicaCorpus/modern_e_wordtype.html
A 5–6 GHz Schottky Diode Single Balanced Mixer
09-13
ADS A 5–6 GHz Schottky Diode Single Balanced Mixer
Go-字符和字符串类型详解（原始字符串、拼接、修改、比较、拆分、查找等）
热门推荐
关注网络安全、云原生安全
04-17 1万+
字符型 没有，推荐使用byte或int 字母一个字节，汉字3个字节 存储：字符->码值（数字）->二进制->保存 直接输出不行 %c 字符串型 由字节组成 直接输出可以
面试官：Go GC 如何调优？
最新发布
木川的技术之路
10-07 231
大家好，我是木川Go 语言的垃圾回收（Garbage Collection，GC）是一项重要的功能，它可以自动管理内存并减少内存泄漏的风险。然而，为了确保应用程序的性能和内存利用率达到最佳状态，有时候需要进行 GC 的调优。本文将介绍一些 Go GC 的调优策略，以帮助你更好地管理内存和降低垃圾回收的开销。一、控制内存分配的速度一种有效的 GC 调优策略是控制内存分配的速度。过多的内存分配会导致更...
Go的性能优化建议
奔走的王木木Sir的博客
06-27 1446
Go的性能优化建议
Go：IsBalanced字符串的括号是否平衡(附完整源码)
希望我的博客，能帮上你解决学习中工作中所遇到的问题
09-19 85
Go：IsBalanced字符串的括号是否平衡(附完整源码)
golang的GC及GC调优
junaozun的博客
05-18 4078
v1.5之后使用了三色标记清除 1.程序启初创建，全部标记为白色，将所有对象放入白色集合中 2.遍历root set（非递归形式，只遍历一次），得到灰色节点，将灰色节点放入灰色集合中。 3.遍历灰色的标记表，将可达到的对象从白色标记为灰色，其本身从灰色变成黑色。重复此步骤，直到灰色标记表中无任何对象 4.删除所有的白色对象 2.为什么GC过程中需要STW？ 如果没有STW，发生上面的情况，会把引用的对象删除，造成数据混乱。 ............
性能优化 | Go Ballast 让内存控制更加丝滑
haohongfan的博客
11-17 781
关于 Go GC 优化的手段你知道的有哪些？比较常见的是通过调整 GC 的步调，以调整 GC 的触发频率。设置 GOGC设置 debug.SetGCPercent()这两种方式的原理和效果都是一样的，GOGC 默认值是 100，也就是下次 GC 触发的 heap 的大小是这次 GC 之后的 heap 的一倍。我们都知道 GO 的 GC 是标记-清除方式，当 GC 会触发时全量遍历变量进行标记，当标记结束后执行清除，把标记为白色的对象执行垃圾回收。值得注意的是，这里的回收仅仅是标记内存可以返回给操作系统，并不
bsc.rar_BSC管理_balanced scorecard_bsc管理流程_scorecard_绩效管理
09-24
平衡计分卡与绩效管理 平衡计分卡是从财务、顾客、内部流程、学习与成长四个角度去评价组织业绩的一种新型衡量体系。
不背锅运维：Go语言切片内存优化技巧和实战案例
ttropsstack的博客
03-15 605
Go 语言的切片是一个动态的数据结构，可以方便地对其进行扩容和缩容操作。由于切片的底层实现是通过数组来实现的，因此在使用切片时，需要注意内存分配和释放的开销。这也是为什么需要对切片的内存使用进行优化的原因。
GoLang之Go内存管理及优化
weixin_52690231的博客
05-14 1505
GoLang之Go内存管理及优化
Golang内存&CPU优化实践
zhw21w的博客
03-13 691
Golang内存&CPU优化实践
案例：来自Uber的Go语言GC优化实践
架构师小秘圈
01-22 740
Uber是世界领先的生活出行服务提供商，也是Go 语言的早期 adopter，根据Uber 工程博客的内容，大致可以判断出 Go 语言在 Uber 内部扮演了十分重要的角色。Uber...
Go 每日一库之 gabs
dz45693的专栏
10-12 4133
简介 JSON 是一种非常流行的数据交换格式。每种编程语言都有很多操作 JSON 的库，标准库、第三方库都有。Go 语言中标准库内置了 JSON 操作库encoding/json。我们之前也介绍过专门用于查询JSON 串的库gjson和专门用于修改JSON 串的库sjson，还有一个非常方便的操作 JSON 数据的命令行工具jj。今天我们再介绍一个 JSON 工具库——gabs。gabs是一个用来查询和修改 JSON 串的库。它使用encoding/json将一般的 JSON 串转为map[strin..
高性能 Go 语言发行版优化与落地实践 （Go 内存管理及优化、编译器优化）
罗密欧与猪过夜的博客
05-12 691
自动内存管理、Go内存管理、编译器与静态分析、编译器优化 Balanced GC优化对象分配 Beast mode 提升代码性能
【golang】性能优化
shanxiaoshuai的博客
12-04 2202
文章目录GC优化技巧slice预分配内存map预分配内存字符串拼接其他内存优化的例子计时器优化excel导出内存优化 这篇文章打算聊聊go的性能优化。性能优化其实是一个很大的话题，要是铺开来讲十篇文章也讲不完。所以我加了两个限制词：golang和内存，把主题从性能优化减小到语言层面的内存相关的性能优化。文章内容会先介绍golang的GC，同样按我以往文章的风格，GC这部分不会写得太详细，因为已经有太多优秀的文章了。然后会讲一些性能优化技巧。最后是我在最近做的和内存相关的两个优化，一个是定时器相关，一个exc
如何优化golang gc
王安的博客
05-10 1083
通常，当使用堆管理器来管理内存时，垃圾回收时需要在堆中移动和调整不同的内存块，这会导致大量的内存拷贝。可以适当调整runtime.GOGC的值来减少GC的频率，根据应用程序的工作负载和内存使用模式，应适当调整该变量。GO语言采用的是三色标记法垃圾回收算法，这种算法采用的是并发标记，扫描完成后再进行清除工作，这意味着性能上可能会付出一些代价。虽然这不是最激进的解决方案，但它可以有效地减少GC的延迟。到目前为止，gc的标记工作（包括两次mark阶段的STW和并发标记）所用的CPU时间占总CPU的百分比。
python怎样优化boruta特征选择方法
05-12
Boruta 特征选择方法是一种比较常用的特征选择方法，其主要思想是通过比较每个特征与随机生成的“影子特征”之间的重要性，来判断哪些特征是重要的。 在 Python 中，可以使用 boruta 包来实现 Boruta 特征选择，使用方法如下： ```python from boruta import BorutaPy from sklearn.ensemble import RandomForestClassifier from sklearn.datasets import load_digits # 加载数据 digits = load_digits() X = digits.data y = digits.target # 初始化随机森林分类器 rf = RandomForestClassifier(n_jobs=-1, class_weight='balanced', max_depth=5) # 初始化 Boruta 特征选择器 feat_selector = BorutaPy(rf, n_estimators='auto', verbose=2) # 进行特征选择 feat_selector.fit(X, y) # 打印结果 print(feat_selector.support_) print(feat_selector.ranking_) ``` 但是，Boruta 特征选择方法可能会导致计算量很大，因为它需要比较每个特征与随机生成的“影子特征”之间的重要性。因此，可以采用以下几种方式来优化： 1. 对数据进行降维处理，降低维度后再进行 Boruta 特征选择。可以使用 PCA 或 LDA 等降维方法。 2. 设置 n_estimators 参数，控制随机森林中决策树的数量，从而控制计算量。可以根据数据集大小和计算资源来调整这个参数。 3. 使用并行计算，加快计算速度。可以使用 joblib 或 multiprocessing 等库来实现并行计算。 4. 对数据进行采样，减少数据量。可以使用随机采样或分层采样等方法。 5. 调整其他 Boruta 参数，比如 max_iter、perc 和 two_step 等，从而控制计算量。 通过以上方法，可以有效地优化 Boruta 特征选择方法，提高特征选择的速度和效率。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值