skywalking之elasticsearch 小优化

agant,采集时间调上点(我这次是直接把1s修改成了30s,重新打包agen),减少对es批量请求,

skywalking之elasticsearch 小优化
 我们可以做些调优,skywalking写入ES的操作是使用了ES的批量写入接口。我们可以调整这些批量的维度。尽量降低ES索引的写入频率
   bulkActions: ${SW_STORAGE_ES_BULK_ACTIONS:4000} # Execute the bulk every 2000 requests
    bulkSize: ${SW_STORAGE_ES_BULK_SIZE:40} # flush the bulk every 20mb
    flushInterval: ${SW_STORAGE_ES_FLUSH_INTERVAL:30} # flush the bulk every 10 seconds whatever the number of requests
    concurrentRequests: ${SW_STORAGE_ES_CONCURRENT_REQUESTS:4} # the number of concurrent requests
    metadataQueryMaxSize: ${SW_STORAGE_ES_QUERY_MAX_SIZE:8000}
调整bulkActions默认2000次请求批量写入一次改到4000次;bulkSize批量刷新从20M一次到40M一次;
flushInterval每10秒刷新一次堆改为每30秒刷新;concurrentRequests查询的最大数量由5000改为8000
一旦遇到突发流量和应用的增加,ES写入瓶颈还是会凸显出来,而且参数设置过大带来了一个新的问题,就是数据写入延时会比较大,一次服务交互发生的trace隔好久才能在skywalking页面上查询到。
所以最终解决方案是优化ES的写入性能,参考文章:https://www.easyice.cn/archives/207

skywalking之elasticsearch cpu高        参考https://www.xiongge.club/1416.html
通过性能分析发现是平均每秒发生一次ygc,修改jvm的gc策略后无果.
1只能先通过机器升级配置,
2优化jvm配置
3增加jvm时间es刷盘时间
因为刷新很昂贵,所以提高索引吞吐量的一种方法是增加refresh_interval。较少刷新意味着负载较少,并且可以将更多资源转移到索引线程。


完成降低cup,只能考虑增加ES机器,减小采样频率了

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值