大数据测试理论与方法

1.大数据的特性

• 体量巨大： 一般数据集做10TB以上，往往世纪规模已经超过PB级别
• 增长速度，价值密度：数据增长速度快，但是其价值密度低，需要通过挖掘分析技术从中提取出有价值的信息。
• 数据准确性和可信度：大数据领域对数据准确度和可信度可以统称为数据度质量，对数据质量的要求一定是精准的。

 

2. 大数据基础架构

 

 

 

3. 数据收集层 

3.1 采集技术

• 采集技术Sqoop(Sql On Hadoop)
• 非关系型数据收集Flume
• 分布式消息队列Kafka(拉货的车子排队问题)

 

3.2 采集内容 

• 老板进原材料（源数据）
• 拉进厂子里（数据收集）
• 安装规律放进仓库
• 每天重复

4. 大数据测试的概念

大数据测试通常是采用大数据技术的系统或应用的测试，它可以分成两个维度，一个是数据的测试，一个是大数据系统或应用产品的测试。

5. 数据质量的测试

 

6.功能测试

 

7. 性能测试 

 性能测试中大数据应用中非常重要，不然随着数据的增长，应用会直接崩溃

 

8. 其他非功能性能测试

 

9. 大数据ETL测试

 

10 .实时数据ETL测试