记录一次架构优化处理性能从3千-＞3万

已于 2024-03-02 11:55:41 修改
阅读量327 收藏 1
点赞数 5
分类专栏： 性能调优 文章标签： 架构 kafka elasticsearch java
于 2024-03-02 11:54:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lw277232240/article/details/136412832
版权

0.背景

优化Kafka消费入Es，适配600台设备上报数据，吞吐量到达2万每秒

1.环境配置

2.压测工具

3.未优化之前的消费逻辑

4.优化之后的消费流程

5.多线程多ESclient


 

6.修改ES配置，增加kafka分区，增加线程，提升吞吐量

7.索引分桶提升吞吐量

键盘上的艺术家w
关注
  • 5
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
架构漫谈 - 如何设计高性能、高可用、高扩展架构
小工匠
11-07 4443
支付业务可以容忍的时间是分钟级别的；银行卡支付和余额转账的主要区别就是银行卡支付的相关信息可以重复，且可用性和数据一致性要求没有那么高，基于这两个区别，银行卡支付的高可用复杂度中，数据复制方式可以采用异步复制，由于银行卡信息可以新增、删除、修改，并不要求高可用和高一致性，因此可以不选用民主式决策。那么对于钱包业务来说，业务上可以分为余额转账、银行卡支付、运行后台等，对于余额转账、可以实时也可以不实时，银行卡支付，这种一般是用户向商家支付，这种是要求实时的，运营后台，内部人员使用，容忍度要低一些。
【MySQL进阶-07】深入理解mysql性能优化以及解决慢查询问题
zhenghuishengq的博客
02-02 2万+
深入理解mysq的性能优化
从零到上亿用户，我是如何一步步优化MySQL数据库的？（建议收藏）
冰河的专栏
08-19 3万+
冰河亲历的亿级流量下的MySQL优化实战，强烈建议收藏！！
ChatGPT技术原理解析：从RL之PPO算法、RLHF到GPT4、instructGPT
热门推荐
结构之法 算法之道
01-15 18万+
本篇ChatGPT笔记会全力做到，通俗易懂且循序渐进(尽最大努力让每一个初学者哪怕是文科生都能没有障碍的读懂每一字一句、每一个概念、每一个公式) 一方面，对于想了解ChatGPT背后原理和如何发展而来的，逐一阐述从GPT/GPT2/GPT3到强化学习、PPO算法，最后再到instructGPT、ChatGPT、SeqGAN 且本文之前，99%的文章都不会把PPO算法从头推到尾，本文会把PPO从零推到尾，按照“RL-策略梯度-重要性采样(重要性权重)-TRPO(增加信任区域和KL散度约束)-PPO”的顺序逐步
架构设计｜数据库性能优化方案
Fong灵
11-25 3766
数据库性能优化方案
LLMs之Llama3：Llama-3的简介、安装和使用方法、案例应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
04-20 3万+
​ LLMs之Llama 3：Llama 3的简介、安装和使用方法、案例应用之详细攻略 目录 Llama 3的简介 Llama 3的安装和使用方法 Llama 3的案例应用 Llama 3的简介 2024年4月18日，Meta 重磅推出了Meta Llama 3，Llama 3是Meta最先进开源大型语言模型的下一代，包括具有80亿和700亿参数的预训练和指令微调的语言模型，能够支持广泛的应用场景。这一代Llama在一系列行业标准基准测试中展示了最
NLP之GPT-3：《 Language Models are Few-Shot Learners》的翻译与解读
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
07-29 1万+
​ NLP之GPT-3：《 Language Models are Few-Shot Learners》的翻译与解读 目录 相关文章 《GPT-3: Language Models are Few-Shot Learners》的翻译与解读 Abstract 摘要 1 Introduction 介绍 2 Approach方法 3 Results 结果 4 Measuring and Preventing Memorization Of Ben
Java 8 Stream 流如何使用3-并行数据处理与性能
java大神起床啦
12-24 4万+
本篇内容 用并行流并行处理数据 并行流的性能分析 分支/合并框架 使用Spliterator分割流
架构设计：系统存储（9）——MySQL数据库性能优化（5）
JAVA入门中
10-12 8721
为了帮助开发人员根据数据表中现有索引情况，了解自己编写的SQL的执行过程、优化SQL结构，MySQL提供了一套分析功能叫做SQL执行计划（explain）。本文我们就为大家介绍一下执行计划功能的使用。
AI绘画原理解析：从CLIP、BLIP到DALLE、DALLE 2、DALLE 3、Stable Diffusion
结构之法 算法之道
06-22 2万+
终于开写本CV多模态系列的核心主题：stable diffusion相关的了，为何执着于想写这个stable diffusion呢，源于三点确实非常非常多的朋友都看过我那篇SVM笔记，影响力巨大，但SVM笔记之后，也还是写了很多新的博客/文章滴，包括但不限于：xgboost、CNN、RNN、LSTM、BERT等今后基本每季度都有更新的计划，欢迎常来关于Stable Diffusion，可以先看下这篇的文章”(此篇文章也是本文的重要参考之一)
Mysql 性能优化之架构优化
08-30
### MySQL性能优化之架构优化详解 #### 一、引言 在MySQL的性能优化中，架构优化是一项重要的工作。良好的数据库架构设计不仅能够提升系统的整体性能，还能够降低后续维护的成本。本文主要围绕数据索引及其对性能...
MySQL单表百万数据记录分页性能优化技巧
09-10
例如，从第40万条记录开始分页查询时，时间已上升至3.229秒，而获取最后一页记录时，查询时间甚至高达37.44秒，这对用户体验和搜索引擎爬虫的友好性都是极大的挑战。 针对这个问题，有几种性能优化策略可以采用： ...
mysql介绍和性能优化.docx
09-12
然而，MyISAM不支持事务处理和外键约束，表级锁定可能导致写操作时的性能下降，且单表数据量有限，一般建议不超过200万条记录。在进行增删查改操作后，通常需要使用`myisamchk`工具进行检查和优化。 相比之下，...
Node.js-一个完整的串行爬虫抓取3万多个页面程序跑完大概30分钟
08-10
在描述中，“一个完整的串行爬虫 抓取3万多个页面”，表明这个爬虫采用的是串行处理方式，即一次只处理一个任务，而不是并行处理多个任务。这种方式虽然效率相对较低，但结构简单，易于理解和实现，尤其适合初学者或...
高性能服务器架构实例 服务器端加客户端
09-02
本实例聚焦于构建能够处理大量并发连接的服务器，单机测试已经达到了惊人的3万个连接，这无疑是对服务器性能的一次重大挑战与突破。在这样的系统中，优化和扩展性是核心关注点，下面我们将深入探讨相关的技术知识点...
【综合架构】存储服务 NFS
m0_57945360的博客
08-12 205
【综合架构】存储服务 NFS
计算机网络12——IM聊天系统——项目分析和架构搭建
weixin_74681777的博客
08-13 237
1。
构建高效外贸电商系统的技术探索与源码开发
最新发布
qq_27313987的博客
08-14 605
在当今全球化的经济浪潮中，外贸电商作为连接国内外市场的桥梁，其重要性日益凸显。一个高效、稳定、功能全面的外贸电商系统，不仅能够助力企业突破地域限制，拓宽销售渠道，还能提升客户体验，增强品牌竞争力。本文将从技术开发的角度，探讨如何构建一套符合市场需求的外贸电商系统。
B站搜索建库架构优化实践
bilibili_TC的博客
08-13 1044
B站是一个典型的多资源搜索场景，除了视频外，还接入了包括UP主、番剧影视（PGC）、直播等几十种不同类型的资源。
2亿用户MySQL性能优化实战：从体系架构到配置策略
大型项目MySQL性能优化实例深入探讨了一种复杂的应用场景，该案例涉及一个拥有2亿注册用户、高峰时期同时在线用户高达2000多万的大型移动应用程序。这个项目对数据库响应时间有着极高的要求，必须保证所有业务操作的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值