第27章 大数据系统测试

本文介绍了大数据的定义,强调其数据类型多样、体量大、处理速度快和价值密度低的特点。接着,阐述了大数据测试面临的数据多样性和不完整性、高度扩展性及测试数据管理等挑战。提出了包括功能测试、性能测试在内的大数据质量检测测试策略,并详细描述了大数据测试流程。最后,列举了一些常用的大数据测试工具,如Hadoop、HPCC和Cloudera等。
摘要由CSDN通过智能技术生成

一、主要内容

1、大数据概述
2、大数据测试策略

二、大数据概述

1、大数据的定义

  • 是指无法在一定时间内用常规的软件工具来进行捕捉、管理和处理的数据的集合

2、大数据的特点

  • 数据类型多样
    • 例如发一条微博可能是文字、图片、视频;也可能是语法连贯的、语法不连贯的数据
  • 数据体量大
    • 数据的增长速度快
    • 例如普通的用户系统一天增长几百兆,但是微博几亿用户加起来每天的数据量就会很大
  • 处理速度高速
    • 大数据处理数据时要进行实时的分析,所以处理速度比较快,但是价值密度低
  • 价值密度低
    • 要从大数据中获取有用的信息,就需要分析很多没有用的、不相关的数据,所以价值密度低

三、大数据的测试策略

1、大数据面临的挑战

  • 数据的多样性和不完整性
  • 高度扩展性
  • 测试数据管理

2、大数据质量检测的测试策略

  • 功能测试
  • 性能测试
  • 数据提取测试
  • 数据处理测试
  • 数据存储测试
  • 数据迁移测试

3、大数据测试流程

  • 用户使用
  • 数据收集
  • 大数据分析
  • 缺陷挖掘

4、大数据测试工具

  • Hadoop:开源框架,可以存储大量数据,且具有分布式的处理能力
  • HPCC:高性能的计算机集群,是一个免费的完整的大数据的应用解决方案
  • Cloudera:企业级技术部署比较理想的测试工具
  • Cassandra:免费开源的工具,提供自动的复制、线性的可扩展、无单点故障的相关服务
  • Storm:免费开源的工具,支持非结构化数据实时的处理,并且能够与任何编程语言兼容
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值