分页池内存持续增长_gRPC双向流服务（go语言实现）内存优化小记

最新推荐文章于 2024-07-13 20:17:11 发布
最新推荐文章于 2024-07-13 20:17:11 发布
阅读量486 收藏
点赞数
文章标签： 分页池内存持续增长
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39970166/article/details/111335946
版权
本文记录了一次针对gRPC双向流服务的内存优化过程，解决了分页池内存持续增长的问题。通过添加pprof调试，发现并修复了goroutine泄漏和map存储导致的内存泄漏。优化措施包括升级双向流扩展包、定时拷贝map以及减少无用存储。最后总结了排查内存泄漏和优化的方法，以及对Go语言GC机制的理解。
摘要由CSDN通过智能技术生成

c4138d0e42349dda42c81c6c6d9d73de.png

gRPC (https://grpc.io) 是一个由Google开发的高性能、开源、跨多种编程语言和通用的远程过程调用协议(RPC) 框架，用于客户端和服务器端之间的通信，使用HTTP/2协议并将 ProtoBuf (https://developers.google.com/protocol-buffers)作为序列化工具。

双向数据流模式(Bidirectional streaming RPC)，是客户端和服务端都可以向对方发送数据流，这个时候双方的数据可以同时互相发送，实现了实时交互。我们想利用这个模式，简单替代长连接管理，让App具备在线用户感知并且可以随时触达任意在线客户端。

该服务通过gRPC进行了连接和用户ID的管理，以下简称双向流。在第一个版本上线后，如下图发现内存占用较大，UID和连接总数并不是一一对应。在关闭链接开关后，连接也未能如期望立刻释放。若再次开启，内存占用仍会持续增长，并不随活跃用户数而波动。

75ce73e1ecaaca447c3bceb434f3dfaa.png

由此开始了前前后后多次的优化，终于实现了内存占用的大幅下降和内存的稳定，平均1W链接大约占用50

最低0.47元/天 解锁文章
weixin_39970166
关注
windows 2008 r2 分页池 不断增加_LoaRunner性能测试教程：Windows计数器(2)
weixin_29607629的博客
01-13 352
上期我们讲到LoaRunner性能测试操作系统监控，这期我们讲LoaRunner性能测试Windows计数器。Windows计数器监控系统资源的目的是为了分析是否由于系统资源引起性能瓶颈，通常分析的硬件资源消耗主要包括内存、磁盘和CPU，那么如何定位这些硬件是否达到瓶颈呢？在实际测试过程中没有直接的指标可以指明硬件是否达到瓶颈，需要分析计数器来间接的去分析硬件资源是否出现瓶颈。内存计数器关于内存计...
内存池的实现(二)
sunshineywz的博客
09-14 221
阅读目录(Content) 1.APR内存池结构 1.1 内存分配结点 1.2 内存分配器 1.3 内存池结点 2.APR内存池的内存管理 2.1 内存申请 2.2 内存释放 2.3 内存池结点管理的内存 3.小结 《内存池的实现(一)》中，介绍了使用内存池的原因，设计内存池应该考虑的问题，最后给出一个简单的内存池实现例子。使用上一篇文章中介绍的内存池实现方案，要在一定的限定条件下，下面我们来看更通用的内存池实现——Apache服务器的内存池实现。 Apache服务器的开发人员将代码中可移植的部分整理出来，
gRPC 四种流模式概述
最新发布
MPY_3的博客
07-13 860
gRPC 提供了四种主要的流模式，以满足不同的通信需求。这些模式包括简单 RPC（Unary RPC）、服务器流式 RPC（Server Streaming RPC）、客户端流式 RPC（Client Streaming RPC）和双向流式 RPC（Bidirectional Streaming RPC）。每种模式都有其独特的特点和适用场景，本文主要介绍这四种流模式的特性和使用场景，及各自的代码实现。
Java虚拟机4 方法调用原理、动态类型支持
c39660570的博客
07-27 301
栈帧 栈帧是方法执行的基本数据结构 栈帧结构包括以下几部分： 局部变量表（Local Variables Table） 存放方法参数和方法内部定义的局部变量，长度在编译时确定 操作栈（Operand Stack） 用于算数运算、或调用其它方法时传递参数（下图8-2）和返回值 动态连接 指向运行时常量池[插图]中该栈帧所属方法的引用，持有这个引用是为了支持方法调用过程中的动态连接 方法返回地址 保存调用者的程序计数器，用于方法正常退出后恢复调用者的状态 附加信息 如调式、性能收集相关信息
简单内存池实例(C++版)
zhangzhenghe的专栏
03-31 2358
经典的内存池(mempool)技术，是一种用于分配大量大小相同的小对象的技术。通过该技术可以极大加快内存分配/释放过程。内存池只涉及两个静态常量：Block_Size(mempool的容量大小)、Item_Size（小对象的大小，但不能小于指针的大小，在32位平台也就是不能小于4字节），以及两个指针变量BlockNodeHead、FreeItemNodeHead。开始，这两个指针均为空。
STM32CubeMX系列|内存管理
安迪西_嵌入式攻城狮
10-13 3764
内存管理 1.内存管理简介 2. 硬件设计 3. 软件设计 3.1 STM32CubeMX设置 3.2 MDK-ARM编程 4. 下载验证
grpc双向流 python_grpc双向流
weixin_35990183的博客
02-01 1011
简介grpc是一个高性能、开源和通用的 RPC 框架，面向移动和 HTTP/2 设计。目前提供 C、Java 和 Go 语言版本，分别是：grpc, grpc-java, grpc-go. 其中 C 版本支持 C, C++, Node.js, Python, Ruby, Objective-C, PHP 和 C# 支持.gRPC 基于 HTTP/2 标准设计，带来诸如双向流、流控、头部压缩、单 T...
grpc-common-master.zip_Grpc-c_go-common-master_grpc_grpc client_
09-21
In gRPC a client application can directly call methods on a server application on a different machine as if it was a local object, making it easier for you to create distributed applications and ...
gRPC_V1.0.pdf_remote_grpc_golang_
09-30
RPC(remote procedure call 远程过程调用)框架实际是提供了一套机制，使得应用程序之间可以进行通信，而且也遵从server/client模型。使用的时候客户端调用server端提供的接口就像是调用本地的函数一样。
利用grpc框架c++编码实现异步双向流调用，可实现客户端服务端的主动调用链接
03-30
在本文中，我们将深入探讨如何使用gRPC框架在C++中实现异步双向流调用。gRPC是一个高性能、开源的RPC（远程过程调用）框架，它支持多种语言，包括C++。异步双向流调用是gRPC提供的一种通信模式，允许客户端和服务端...
cc_grpc_library_reproduce
03-05
7. **微服务架构**：探讨gRPC在微服务架构中的应用，了解如何设计和实现分布式的gRPC服务。 通过研究这个项目，开发者可以学习到如何将gRPC与Bazel集成，创建和管理复杂的构建流程，同时也能加深对现代云原生应用...
解决win10电脑运行一段时间后，分页缓冲池占用增多，导致内存不足，软件闪退
小雨的博客
06-11 2917
背景：早上9点到公司，电脑刚开机，打开一系列编程工具和必要工具后，16G内存占用48%左右，使用到中午12点左右，内存至80%，且编程工具出现编译时内存不足和闪退现象，需要重启电脑才可以正常工作 在度娘搜索了很久，各大论坛也逛了，看到了很多人也有这个问题，也有很多处理方式，但看评论都不尽如人意，在ZH看到一篇详细回答，感觉到了问题所在，以下直接附上解决办法： 我判断我的问题是由于win10激活软件导致的，一直存在内存泄漏问题，所以我重新激活了一下，电脑就没有出现该问题了，以下附上我的解决方法 WIN+R打开
go gRPC 客户端内存暴涨原因分析
一见
01-29 2562
创建一个 gRPC 客户端连接，会创建的几个协程： 1）transport.loopyWriter.run 往服务端发送数据协程，流控时会阻塞，结果是数据堆积，内存上涨 2）transport.http2Client.reader 接收服务端数据协程，并会调用 t.controlBuf.throttle() 执行流控 现象描述： 客户端到服务端单个连接，压测时内存快速增长，直到 OOM 挂掉。在 OOM 之前停止压测，内存会逐渐下降。客户端到服务端改为两个连接时，压测时未出现内存快速增长。 问题原因： 每.
Win10 分页缓冲池 过大
MAIMIHO的博客
05-22 5695
win10 内存占用过大, 而且随着使用天数增加占用内存会一直增加, 任务管理器里面进程的内存和实际占用内存差距很大. 重启才能回落. 开机运行十天后, 32G内存, 分页缓冲池就20多G. 解决方法 如果装有 Wise Folder Hider 卸载后重启 如果是 Killer网卡 sc config ndu start=disabled ...
GRPC java 双向流式服务，直接内存溢出解决
weixin_39152648的博客
06-10 1515
客户端解决： public class ManualFlowControlClient { private static final Logger logger = Logger.getLogger(ManualFlowControlClient.class.getName()); public static void main(String[] args) throws InterruptedException { final CountDownLatch don
rest服务器性能,gRPC与REST性能比较：gRPC双向流性能提升是巨大的 | Vinsguru
weixin_32342535的博客
08-06 672
是GRPC真的快于REST？让我们同时开发基于gRPC和REST的微服务，并进行gRPC与REST 性能比较。我们这里的主要目标是提出一个应用程序–具有2种不同的实现(REST和gRPC)，以实现完全相同的功能。正如我们已经讨论过的那样，gRPC非常适合涉及更多聊天性的微服务之间的通信，让我们提出一些增加聊天性的要求–这样我们就可以轻松比较性能差异。为了简单起见，我们考虑2种服务。一克grega...
Win10页面缓冲池剧增占用内存解决方案
weixin_30491641的博客
03-16 7638
　　前几天笔记本上的win10操作系统开机后内存占用急剧上升，较平常大概无缘无故多了2个G的内存使用，通过排查发现是页面缓冲池大量增加的原因， 问题未修复之前页面缓冲池高达1.9G，开机后使用内存直达4G(目前已修复)！ 　　 　　在网上到处找资料未果，但了解到页面缓冲池”就是进程占用的分页池中的虚拟内存，是进程调用某些系统功能时，由系统核心或者驱动程序分配的。如果一个程序占用的页面缓冲池内...
内存池管理技术
hualicuan的专栏
08-20 852
默认分配的内存不足 利用默认的内存管理函数new/delete或malloc/free在堆上分配和释放内存会有一些额外的开销。 系统在接收到分配一定大小内存的请求时，首先查找内部维护的内存空闲块表，并且需要根据一定的算法（例如分配最先找到的不小于申请大小的内存块给请求者，或者分配最适于申请大小的内存块，或者分配最大空闲的内存块等）找到合适大小的空闲内存块。如果该空闲内存块过大，还需要切
【grpc】内存分配封装
突围
06-20 539
grpc cpp的内存相关封装 内存分配 封装了好几种malloc方法，可选？ static gpr_allocation_functions g_alloc_functions = {malloc, zalloc_with_calloc, realloc, free}; 使用前set一个方法进来 void gpr_set_allocation_functions(gpr_allo
java grpc 流式_grpc双向流式调用——构建一个简单的流数据分析器
06-01
让我们来探讨一下如何使用Java gRPC实现双向流式调用来构建一个简单的流数据分析器。 首先，我们需要定义一个 gRPC 服务。假设我们要构建一个数据分析器，这个服务可以接收一系列数据，并返回一系列数据分析结果。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值