大数据平台容量评估_大数据平台测试

一.大数据平台测试简述

大数据平台测试包括2部分：基础能力测试和性能测试

Ⅰ).基础能力测试

大数据平台的基本功能和数据的导入导出对SQL任务、NoSQL任务、机器学习、批处理任务的支持

大数据平台是否能够通过界面的形式方便用户进行非运行维护，主要包括集群的安装、监控、配置、操作等

大数据平台是否能够提供基本的安全方案

a).是否具备认证功能以防止恶意访问和攻击

b).是否能够进行细粒度的权限管理

c).是否能够提供审计和数据加密功能

大数据平台是否具备高可用的机制，防止机器的失效带来的任务失败以及数据丢失

大数据平台是否能够支持机器快速平滑地扩展和缩容时带来线性的计算能力

大数据平台是否能够支持多个调用接口以及对SQL语法的支持情况

大数据平台是否能够根据队列、用户的权重来细粒度地分配计算资源

Ⅱ).性能测试

基准测试:数据生成、负载选择和明确测试指标等内容

性能测试：基准测试之上的扩展

二.大数据平台测试流程

Ⅰ).数据生成

BDGS: 能够快速生成保持真实数据特性的文本、表和图数据的数据生成工具

BDGS构造方法

a).数据筛选：选取代表性的真实数据集和相应的建模方法或工具

b).原始数据处理：对真实数据采样并建模，提取数据特性

c).数据生成：通过参数控制数据规模和并行度

d).格式转化：根据负载的输入