大数据测试/功能性测试

大数据 专栏收录该内容
3 篇文章 0 订阅

大数据测试/功能性测试

 

 

 

HDFS    分布式存储hadoop

MapReduce      一种编程模型,用于大规模数据集的并行运算

ETL      数据入 湖/仓库 的调度平台

 

 

  1.  数据导入/预处理
    输入文件与源文件的对比
  2.  MapReduce数据输出阶段
    数据梳理正常
    单节点上验证大数据的业务逻辑
    多节点进行相同验证
    MapReduce处理过程的 key/value是否正常
  3. 按业务,验证输出正常
  4. 验证ETL到数据仓库
    目标数据和HDFS文件数据的对比

 

  • 0
    点赞
  • 0
    评论
  • 0
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2021 CSDN 皮肤主题: 游动-白 设计师:白松林 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值