优化 Golang 分布式行情推送的性能瓶颈

最新推荐文章于 2023-10-31 21:42:59 发布
最新推荐文章于 2023-10-31 21:42:59 发布
阅读量2.2k 收藏 6
点赞数 5
文章标签： 网关 网络 epoll 分布式存储 redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qcrao/article/details/118484375
版权

最近一直在优化行情推送系统，有不少优化心得跟大家分享下。性能方面提升最明显的是时延，在单节点8万客户端时，时延从1500ms优化到40ms，这里是内网mock客户端的得到的压测数据。

对于订阅客户端数没有太执着量级的测试，弱网络下单机8w客户端是没问题的。当前采用的是kubenetes部署方案，可灵活地扩展扩容。

架构图

push-gateway是推送的网关，有这么几个功能：第一点是为了做鉴权；第二点是为了做接入多协议，我们这里实现了websocket, grpc, grpc-web，sse的支持；第三点是为了实现策略调度及亲和绑定等。

push-server 是推送服务，这里维护了订阅关系及监听mq的新消息，继而推送到网关。

问题一：并发操作map带来的锁竞争及时延

推送的服务需要维护订阅关系，一般是用嵌套的map结构来表示，这样造成map并发竞争下带来的锁竞争和时延高的问题。

// xiaorui.cc 
{"topic1": {"uuid1": client1, "uuid2": client2}, "
最低0.47元/天 解锁文章
qcrao
关注
  • 5
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
golang工程组件篇:高性能RPC框架gRPC之Retry与LoadBalance
SMILY12138的博客
05-25 223
当该请求到达客户端时，客户端会根据RoundRobin策略选择一个合适的服务节点，并将请求转发给该节点处理。当一个请求到达客户端时，客户端会根据预定义的策略选择一个合适的服务节点，并将请求转发给该节点处理。如果请求失败，客户端会自动进行多次尝试，并在每次尝试之间等待一定的时间。当一个请求失败时，客户端会根据预定义的策略自动进行多次尝试，并且可以在每次尝试之间设置延迟时间。在本文中，我将重点介绍gRPC框架中的Retry和LoadBalance这两个重要概念，并探讨它们如何提高系统的可靠性和性能。
golang分布式链路追踪系统-jaeger
08-23
它可以帮助开发者跟踪请求在整个服务网络中的传播路径，收集性能数据，定位性能瓶颈。Jaeger是这样一款开源的分布式追踪系统，由Uber开发并维护，它支持多种语言，包括Golang，是CNCF（Cloud Native Computing ...
语言 router_Go语言之pprof的性能调优”燥起来“
weixin_29955355的博客
01-13 438
在计算机性能调试领域里，profiling 是指对应用程序的画像，画像就是应用程序使用 CPU 和内存的情况。 Go语言是一个对性能特别看重的语言，因此语言中自带了 profiling 的库，这篇文章就要讲解怎么在 golang 中做 profiling。Go性能优化Go语言项目中的性能优化主要有以下几个方面：CPU profile：报告程序的 CPU 使用情况，按照一定频率去采集应用程序在 CP...
Golang性能优化技巧（三）
zhanglehes的专栏
12-06 896
概述 本文主要介绍闭包、channel和接口相关的性能开销 golang中提供了很多语法糖，但它们都有较复杂的实现方式，因此使用它们时需要小心，在对性能要求较高的场景尽量不要使用 匿名函数的性能开销 代码 import "testing" func test(x int) int { return x * 2 } // 普通函数调用 func BenchmarkTest(b *testing.B) { for i := 0; i < b.N; i++ { _ = test(i)
【Go性能优化:Go语言如何进行代码检查和性能优化】
zhw21w的博客
12-24 3179
Go性能优化方法，如何进行代码检查？ 如何进行性能优化
带你彻底学会 Golang 程序性能分析（四）：gRPC 服务集成 pprof
路多辛的所思所想
01-22 326
只要 pprof 和 gRPC 服务在同一个进程里面，pprof 即可采集到 gRPC服务的性能样本数据。所以可以在gRPC服务启动时，使用 goroutine 异步启动一个监听其他端口的 HTTP 服务（暴露 pprof 用于样本数据采集的接口）用于 pprof 进行样本数据采集和分析。本文主要介绍了 gRPC 服务集成 pprof 的方法。这些 RPC 集成 pprof 的方法和 gRPC 类似，只要 pprof 和 gRPC 服务在同一个进程里面，pprof 就可以进行样本数据采集和分析。
使用golang实现的推送系统 结合rabbitmq消息队列 gin-web实现消息接收推送
02-18
golang 推送系统 单机 客户端通过websocket连接到服务端 客户端发送jwt-token验证身份，确定用户是谁 服务端从rabbitmq接收消息，根据消息所属通过websocket推送到具体用户 服务端从http api接收消息，根据消息所属...
Tasker：基于golang的分布式任务调度框架
02-10
Tasker是一个基于Golang开发的分布式任务调度框架，它的设计目标是为复杂的企业级系统提供稳定、高效的任务调度能力。Golang作为一种现代化的编程语言，以其并发性能强、内存管理优秀以及编译速度快等特性，成为了...
基于Golang的分布式爬虫管理平台
最新发布
04-08
【标题】：“基于Golang的分布式爬虫管理平台”是一个高度集成的系统，它利用了Golang的强大性能和网络编程能力来构建一个高效且可扩展的解决方案。在分布式环境中，爬虫管理平台允许用户通过单一界面管理和调度多...
golang实现简易的分布式系统方法
09-20
在本篇内容中，我们将探讨如何使用Golang实现一个简易的分布式系统。Golang作为一种现代、高效的编程语言，因其并发模型、内置网络库以及强大的类型系统，非常适合构建分布式系统。 首先，分布式系统的核心是节点...
GO-Grpc微服务开发五 服务调用优化
找不到我的路
11-08 973
GO-Grpc微服务开发四 服务调用优化获取服务进行缓存使用连接池 获取服务进行缓存 //初始化服务变量 var service []*consul.CatalogService //获取缓存句柄 bt, err := GetCacheClient() //服务缓存名称 key := &amp;amp;amp;quot;service_&amp;amp;amp;quot; + name //获取缓存 ...
5个可以在Golang中优化代码以提高性能的技巧分享
ai520wangzha的博客
03-17 830
最后，衡量你的代码的性能以确保它符合预期的要求是很重要的。为了提高性能，尽量减少你的代码的分配次数。作为一名软件工程师，确保你的代码高效且性能良好是非常重要的。在Golang中，有几个最佳实践和技术可以用来优化你的代码，以获得更好的性能。Golang的并发模型是强大而高效的，但明智地使用它是很重要的。作为一名软件工程师，确保你的代码高效且性能良好是非常重要的。通过遵循这些提示，你可以提高你的Golang代码的性能，并确保它顺利和有效地运行。记住，在优化你的代码时要始终考虑你的应用程序的具体需求和要求。
golang 使用chan（select）、和goroutine实现：耗时代码块的执行不影响http服务及时响应
lctmei的博客
06-17 273
简单示例： package main import ( "fmt" "math/rand" "net/http" "time" ) var myServer = MyServer{} func main() { //这样就把请求转换到了你的myServer的ServerHttp函数来处理了 _ = http.ListenAndServe(":8080", myServer) } type MyServer struct{} //所有的请求的 func (recv MyServer)
Go chan实现并发请求聚合功能
piaohai的专栏
03-06 789
背景 有上万台边缘机器，每台都会有多个agent客户端，并且每个agent都会同时向中心系统上报数据，由于上报数据频繁，并发量也大，每个agent都频繁和中心建立连接，导致中心压力非常大，所以需要对此进行优化，对每台机器上的agent上报数据做聚合，批量进行上报，减少边缘和中心的上报频率，从而减轻中心压力。 方案 边缘增加一个batch中间件，所有agent上报的数据由原来直接向中心上报变为向batch中间件上报 batch中间件会聚合请求，再分批向中心上报 上报的方式也由原来的同步也改为异步，agent
Go系统性能绕坑工具与方法 - 基于实例的带逛
chuipu9307的博客
03-24 403
作者：lnigithub.com/lni 业内的共识是Go语言简单易用且一般水平的工程师也能写出较不错的性能。而通过分享相关工具的使用，把较不错的性能升格为过硬的高性能，正是本文的目的。 CPU性能分析 Dragonboat早期版本里，在系统每秒处理100万个写请求的时候CPU基...
golang中如何提升同步数据处理的性能
天道酬勤
08-25 251
利用通道chan和协程goroutine实现： 1、使用协程提升并发性能 2、使用通道chan来保证处理过程中数据结果同步 例子如下： package main import ( "fmt" ) func main(){ str:="main" ch := make(chan string, 0) go Test(ch) str= <- ch fmt.Println("str:", str) } func Test(ch chan ...
go 进阶 sync相关: 七. sync.Map
qq_29799655的博客
05-23 1959
sync.Map是一个支持并发安全的Map键值对映射表,提供了Store(key, value)插入,Load(key)获取,Delete(key)删除,Range()遍历等方法,了解底层首先要了解内部结构,内部包含了read属性,实际在操作时对应的是一个readOnly可以看为一个只读快照表,每个正在读取的 Goroutine 都会持有一个 readOnly 结构体。
深入探究Go语言中sync.Map的用法
博客
10-31 822
本文深入探究了Go语言中sync.Map的用法。我们首先介绍了sync.Map的概念和作用，并对比了其他Go语言中的并发安全数据结构。然后，我们详细讲解了sync.Map的使用方法，包括创建和初始化、添加和获取键值对、删除键值对以及遍历键值对等操作。接着，我们分析了sync.Map的并发安全性和性能优化，并与其他性能优化方法进行了对比。最后，我们探讨了sync.Map的适用场景，并提供了示例代码展示了sync.Map的具体用法。
go gRPC 服务端推送给客户端流demo
白小白的小白的博客
09-03 1536
go grpc
golang 分布式任务框架
09-02
Golang分布式任务框架是使用Golang编程语言开发的一种工具，用于简化分布式环境下的任务调度和处理。 首先，Golang分布式任务框架提供了一个简单而强大的任务调度器，可以将任务分配给不同的节点进行并行处理。这个...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值