先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7
深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年最新软件测试全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上软件测试知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
如果你需要这些资料,可以添加V获取:vip1024b (备注软件测试)
正文
key=> “list_zzm1”
batch => true
batch_events => 2048
}
}
单个实例平均采集数:8400/s,折合218GB/天。优化后,AIX下logstash采集性能提高约6倍。
消费端性能
Linux-Logstash性能
消费端性能即logstash的性能,由于可更改的参数较多,下面对各参数分别进行验证。
可调参数:
序号 | 参数 | 类别 | 说明 |
1 | LS_HEAP_SIZE | LS | Logstash堆内存大小,默认1g |
2 | -w | LS启动 | logstash线程数,默认与cpu数相同 |
3 | -b | LS启动 | Batch数,即logstash取多少数据进行一次filter,默认125 |
4 | redis.threads | LS input | Redis线程数,默认1 |
5 | redis.batch_count | LS input | Redis每次pop的数量,默认1 |
6 | es.workers | LS output | Es提交线程,默认1 |
7 | es.flush_size | LS output | ESbulk提交数,默认500 |
在ELK-Redis服务器上安装pv,配置logstash输出为dots和ES,启动方式为:
./logstash -f logstash_dots.conf | pv -abt> /dev/null
说明:
1) 由于logstash是java应用,启动过程中随着jvm内存使用提高其处理速率也逐渐提高;
2) pv输出是平均值,而logstash启动过程约8秒,进一步造成显示速率的延迟,下表为启动3个logstash实例一段时间检测到的速率:
处理队列 | 5min后 | 10min后 | 20min后 |
List_zzm1 | 3.7k/s | 4.5k/s | 5.1k/s |
List_u1z1 | 1.2k/s | 1.6k/s | 1.9k/s |
List_ngp1 | 1k/s | 1.2k/s | 1.5k/s |
3) 后续记录结果均采用开启3分钟后的数值;
4) 关闭ES输出配置,只输出到dots的情况下,单个logstash实例处理可达20k/s;
默认配置
输出速率:约2.5k/s
ES索引速率:
系统负荷:
启动参数-b 8000
输出速率:5.8k/s
ES索引速率:
系统负荷:
启动参数-w 16
输出速率:4.8k/s
ES索引速率:
系统负荷:
启动参数-w 16 –b 8000
输出速率:6k/s
ES索引速率:
系统负荷:
启动参数-w 16 –b 16000
输出速率:6k/s
ES索引速率:
输入Redis.threads=>8
输出速率:4.6k/s
ES索引速率:
系统负荷:
输入Redis.threads=>8 batch_count=>1024
输出速率:4.7k/s
ES索引速率:
输入Redis.threads=>8 batch_count=>10240
输出速率:4.7k/s
ES索引速率:
输出ES.workers =>8
输出速率:11.3k/s
ES索引速率:
系统负荷:
输出ES.flush_size=>4096
输出速率:4.6k/s
ES索引速率:
系统负荷:
增加workers =>8 flush_size=>4096
输出速率:12k/s
ES索引速率:
综合调整参数
启动参数–b 8192
输入Redis.batch_count=>1024
输出ES.workers=>8 flush_size=>4096
输出速率:8.4k/s
启动多个logstash实例
Agent输出到3个队列:
list_zzm1
list_u1z1
list_ngp1
开启3个logstash收集:
[PVVMBG0008][elk][/app/logstash-2.4.0/bin]#./logstash-f logstash_dots_zzm1.conf -l ./logstash_zzm1.log -b 8000 | pv -abt >/dev/null
6.19MiB 0:23:37 [4.86KiB/s]
[PVVMBG0008][elk][/app/logstash-2.4.0/bin]#./logstash-f logstash_dots_u1z1.conf -l ./logstash_u1z1.log -b 8000 | pv -abt >/dev/null
3.51MiB 0:24:15 [2.73KiB/s]
[PVVMBG0008][elk][/app/logstash-2.4.0/bin]#./logstash-f logstash_dots_ngp1.conf -l ./logstash_ngp1.log -b 8000 | pv -abt > /dev/null
3.69MiB 0:23:51 [2.64KiB/s]
输出速率:4.86+2.74+2.64≈10.2k/s
ES索引速率:
系统负荷:
此时,ES节点负荷:
优化后,消费端logstash性能提高约15倍。
测试记录
3节点2分片1副本
ES服务器 | 索引速率 | 折算结果 |
10.2.245.71 | 9k/s | Logstash:22/2=11k/s 处理时间:约6.5小时 |
10.2.245.72 | 8k/s | |
10.2.245.73 | 5k/s |
4节点2分片1副本
ES服务器 | 索引速率 | 折算结果 |
10.2.245.71 | 8k/s | Logstash:34/2=17k/s 处理时间:4.1小时 |
10.2.245.72 | 8k/s | |
10.2.245.73 | 9k/s | |
10.2.245.75 | 9k/s |
6节点3分片1副本
ES服务器 | 索引速率 | 折算结果 |
10.2.245.68 | 6k/s | Logstash:36/2=18k/s 处理时间:3.85小时 |
10.2.245.69 | 7k/s | |
190.2.245.70 | 6k/s | |
10.2.245.71 | 7k/s | |
10.2.245.72 | 5k/s | |
10.2.245.73 | 5k/s |
5节点3分片1副本,增加一个logstash消费节点
ES服务器 | 索引速率 | 折算结果 |
10.2.245.68 | 7k/s | Logstash:39/2=19.5k/s 处理时间:3.56小时 |
10.2.245.69 | 7k/s | |
190.2.245.70 | 9k/s | |
10.2.245.71 | 9k/s | |
10.2.245.72 | 7k/s |
总结
ES集群写入速率达到10k/s时,cpu、内存基本达到饱和。
Logstash(8cpu 24G RAM)处理速率达到15k/s时,cpu基本达到饱和。
ES集群3节点配置为2分片1副本存在数据分配不均匀的情况:
索引1 | 索引2 | 索引3 | 索引4 | |
ES-1 | 0 | 0 1 | 0 | 0 |
ES-2 | 0 1 | 1 | 1 | 0 1 |
ES-3 | 1 | 0 | 0 1 | 1 |
由于部分索引数据超大:
当某个节点分配到该索引的两个分片时,该节点成为集群的瓶颈,其他节点的索引速率小于该节点的索引速率(10k/s)。
配置为4节点后,索引分片分配相对均匀:
索引1 | 索引2 | 索引3 | 索引4 | |
ES-1 | 0 | 0 | 1 | 0 |
ES-2 | 0 | 1 | 1 | 1 |
ES-3 | 1 | 0 | 0 | 1 |
ES-4 | 1 | 1 | 0 | 0 |
4个节点写入速率能达到基本一致(10k/s)。
优化措施汇总
采集端
通过设置过滤器,仅保留xcom中包含Routing-async的日志
发送到redis使用批量提交batch=>true
Logstash配置max_open_files=>20000
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip1024b (备注软件测试)
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
索引4 |
| ES-1 | 0 | 0 | 1 | 0 |
| ES-2 | 0 | 1 | 1 | 1 |
| ES-3 | 1 | 0 | 0 | 1 |
| ES-4 | 1 | 1 | 0 | 0 |
4个节点写入速率能达到基本一致(10k/s)。
优化措施汇总
采集端
通过设置过滤器,仅保留xcom中包含Routing-async的日志
发送到redis使用批量提交batch=>true
Logstash配置max_open_files=>20000
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip1024b (备注软件测试)
[外链图片转存中…(img-txxUXPhj-1713602302979)]
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!