近期进行了应用集成项目性能等方面的测试,主要对系统稳定性、并发、部署、负载、高可用、灰度升级测试以及数据大批量的测试,在测试过后发现测试结果不尽如人意,系统的并发以及Redis读写达不到指定的要求,经过排查发现是Nginx没有调优导致,在调优后达到了预期效果。
经过以上事件对影响性能等因素进行了排查以及优化,主要对产品的配置、系统、JVM、Redis、Nginx以及数据库方面进行优化,具体优化点以及说明详见下文。
1整体说明
本章主要针对测试的主要内容、测试的ESB应用集成流程具体实现情况以及遇到问题应该如何处理等进行详细的说明。
1.1测试思路
在测试时主要针对1千条、1万条、10万条、100万条、1000万条数据级别进行测试验证,测试分为两个模块,具体如下:
1.对环境进行优化,分别优化主数据及ESB的CPU、内存,并对Redis、JVM、CentOS、Nginx等进行优化;
2.对每个数量级进行ESB层面测试,先用代码构造对应的入参,在使用ESB数据适配器中的数据插入组件记录每个数量级的同步时间;
3.复制原有集成流程,加入主数据调度接口进行数据的同步,记录同步时间,并于数据库批量插入同步时间进行对比,查看是否是因为同步接口降低了同步时效;
4.对测试结果进行总结,将相关问题反馈至产品负责人员进行优化,并进行再次测试。
1.2部署架构
测试环境整体部署架构如下:
本次测试以及性能调优主要针对K8S集群配置下进行测试,对网络层Nginx、Ridis、容器中的产品的JVM等内容进行优化。
1.3测试过程
测试流程主要是针对不同数据量级别对ESB数据插入性能等进行测试,主要测试100W条及1000W条数据的写入测试,具体流程如下:
1.批量处理具体流程如下:
a)初始化操作记录数据起始时间;
b)查询出1千/1万条数据,并进行记录;
c)数据库直接批量数据插入;
d)记录截止时间并进行时间计算。
2.循环批量处理流程如下:
<