性能测试按此顺序执行
性能测试的参数
性能测试需要验证的各种参数
数据存储:数据如何存储在不同的节点中;
- 过程从设置要测试性能的大数据群集开始
- 确定和设计相应的工作量
- 准备个人客户(自定义脚本创建)
- 执行测试并分析结果(如果不满足目标,则调整组件并重新执行)
- 最佳配置
- 提交日志:允许增长的提交日志有多大;
- 并发性:有多少个线程可以执行写入和读取操作;
- 缓存:调整缓存设置“行缓存”和“键缓存”;
- 超时:连接超时值,查询超时值等;
- JVM参数:堆大小,GC收集算法等;
- 地图降低性能:排序,合并等;
- 消息队列:消息速率,大小等。
测试环境需求
测试环境需求取决于您正在测试的应用程序的类型。对于大数据测试,测试环境应该包含
- 它应该有足够的空间来存储和处理大量的数据;
- 它应该有分布式节点和数据的集群;
- 它应该有最低的CPU和内存利用率,以保持高性能。
七、大数据测试面临的挑战
自动化
大数据的自动化测试需要具有技术专长的人员。另外,自动化工具不具备处理测试过程中出现的意外问题的能力
虚拟化
这是测试的一个不可缺少的阶段。虚拟机延迟会在实时大数据测试中造成计时问题。在大数据中管理图像也是一件麻烦事。
大数据集
八、性能测试挑战
多种技术组合:每个子组件属于不同的技术,需要单独测试
不可用的特定工具:没有一个工具可以执行端到端的测试。例如,NoSQL可能不适合消息队列
测试脚本:需要高度的脚本来设计测试场景和测试用例
测试环境:数据量大,需要特殊的测试环境
监控解决方案:存在有限的解决方案,可以监控整个环境
诊断解决方案:需要定制解决方案来深入了解性能瓶颈区域
- 需要验证更多的数据,并需要更快地完成;
- 需要自动化测试工作;
- 需要能够跨不同的平台进行测试。
概要
随着数据工程和数据分析技术的不断进步,大数据测试是不可避免的。
大数据处理可以是批处理,实时或交互式处理
测试大数据应用程序的3个阶段是
数据分级验证
“MapReduce”验证
输出验证阶段
架构测试是大数据测试的重要阶段,因为设计不佳的系统可能会导致前所未有的错误和性能下降
大数据的性能测试包括验证
数据吞吐量
数据处理
子组件性能
大数据测试与传统数据测试在数据,基础架构和验证工具方面有很大的不同
大数据测试挑战包括虚拟化,测试自动化和处理大型数据集。大数据应用程序的性能测试也是一个问题
【下面是我整理的2023年最全的软件测试工程师学习知识架构体系图】
一、Python编程入门到精通
二、接口自动化项目实战
三、Web自动化项目实战
四、App自动化项目实战
五、一线大厂简历
六、测试开发DevOps体系
七、常用自动化测试工具
八、JMeter性能测试
九、总结(尾部小惊喜)
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!**
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新