skywalking之elasticsearch 小优化

agant,采集时间调上点(我这次是直接把1s修改成了30s,重新打包agen),减少对es批量请求,

skywalking之elasticsearch 小优化
 我们可以做些调优,skywalking写入ES的操作是使用了ES的批量写入接口。我们可以调整这些批量的维度。尽量降低ES索引的写入频率
   bulkActions: ${SW_STORAGE_ES_BULK_ACTIONS:4000} # Execute the bulk every 2000 requests
    bulkSize: ${SW_STORAGE_ES_BULK_SIZE:40} # flush the bulk every 20mb
    flushInterval: ${SW_STORAGE_ES_FLUSH_INTERVAL:30} # flush the bulk every 10 seconds whatever the number of requests
    concurrentRequests: ${SW_STORAGE_ES_CONCURRENT_REQUESTS:4} # the number of concurrent requests
    metadataQueryMaxSize: ${SW_STORAGE_ES_QUERY_MAX_SIZE:8000}
调整bulkActions默认2000次请求批量写入一次改到4000次;bulkSize批量刷新从20M一次到40M一次;
flushInterval每10秒刷新一次堆改为每30秒刷新;concurrentRequests查询的最大数量由5000改为8000
一旦遇到突发流量和应用的增加,ES写入瓶颈还是会凸显出来,而且参数设置过大带来了一个新的问题,就是数据写入延时会比较大,一次服务交互发生的trace隔好久才能在skywalking页面上查询到。
所以最终解决方案是优化ES的写入性能,参考文章:https://www.easyice.cn/archives/207

skywalking之elasticsearch cpu高        参考https://www.xiongge.club/1416.html
通过性能分析发现是平均每秒发生一次ygc,修改jvm的gc策略后无果.
1只能先通过机器升级配置,
2优化jvm配置
3增加jvm时间es刷盘时间
因为刷新很昂贵,所以提高索引吞吐量的一种方法是增加refresh_interval。较少刷新意味着负载较少,并且可以将更多资源转移到索引线程。


完成降低cup,只能考虑增加ES机器,减小采样频率了

  • 2
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Skywalking优化是指通过学习ES原理、调优的文档资料,仔细研究Skywalking相关的源码,并尝试各种方案来提升其性能。这个过程需要坚持不懈地进行,花费时间解决各种困难,但调优的效果是显著的。\[1\] 自从Skywalking开始在公司推广以来,它在排查问题的过程中发挥了重要作用。通过接入Skywalking,人们可以快速定位问题所在。作为实践者,我非常感谢Skywalking,因为它给公司的伙伴们带来了实实在在的帮助。同时,我也要感谢公司的领导和同事们的支持和帮助,正是因为他们的支持,才让Skywalking从起初的有用进化到现在的好用。在优化过程中,我们不断提升了Segment储能上限,从几十亿到千亿级,并将查询耗时从几十秒优化到毫秒级。\[2\] 随着应用的接入和使用,我们也遇到了一些问题。在【Skywalking(v8.5.0)优化系列】中,我们将按照时间递增的顺序介绍这些问题和优化效果的详细信息。\[3\] #### 引用[.reference_title] - *1* *2* *3* [SkyWalking优化-打造千亿储能、毫秒查询的链路追踪系统](https://blog.csdn.net/rock_fish/article/details/127780032)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值