Flink 实时计算中如何验证数据

最新推荐文章于 2024-01-21 03:39:43 发布

大数据修炼手册

最新推荐文章于 2024-01-21 03:39:43 发布

阅读量1.1k

点赞数 1

文章标签： flink big data hive

本文链接：https://blog.csdn.net/idealspark/article/details/120495640

版权

本文探讨在Flink实时计算中确保数据正确性的方法，主要通过与明细数据和离线数据对比进行验证。首先，将Flink结果数据导入Hive，接着抽取明细数据并清洗。在Hive上重现计算逻辑后进行数据比对。对于涉及Hbase或Kafka的情况，也有相应的比对策略。该方法常用于任务上线前的验证，但存在T+1延迟和过程延迟监控的局限。

摘要由CSDN通过智能技术生成

在实时计算开发的过程中，如何保证数据的正确性是一个比较棘手的问题。保证数据正确性的第一步就是对数据进行验证，在这篇文章中我将介绍几种常见的数据验证方式。大致的思路就是将 Flink 写入的结果数据和明细数据或离线数据进行比对。在这里我们统一把数据导入到 Hive 中。

以 Flink 实时计算中的数据漂移的代码为例，讲解整个比对流程，实时计算的代码如下：

-- source 表
create table order_pay_binlog_source
(
    order_no                     varchar comment '订单号'
  , shop_id                      bigint  comment '店铺id'
  , user_id                      bigint  comment '用户id'
  , customer_id                  bigint  comment '用户id'
  , order_time                   string  comment '支付时间'
  , pay_amount                   bigint  comment '实付金额'
) with (
           'co