数据仓库之数据质量管理

最新推荐文章于 2024-04-29 02:34:12 发布
最新推荐文章于 2024-04-29 02:34:12 发布
阅读量2.1k 收藏 31
点赞数
分类专栏： 数据仓库 文章标签： 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/godlovedaniel/article/details/119300667
版权

目录

第1章 数据质量整体概述

1.1  概述

1.2. 数据质量标准分类

1.3  数据质量管理解决方案

第2章 ODS层数据校验

2.1 数据校验通用脚本

2.2 ODS层各表检验

第3章 DWD层数据校验

3.1 数据校验通用脚本

3.2 DWD层各表检验

第4章 DWS层数据校验

4.1 DWS层数据质量校验

4.2 DWS层数据校验脚本

第5章 DWT层数据校验

5.1 DWT层数据质量校验方法

5.2 宽表校验脚本

第6章 ADS层数据校验

第1章 数据质量整体概述

1.1  概述

数据质量的高低代表了该数据满足数据消费者期望的程度，这种程度基于他们对数据的使用预期，只有达到数据的使用预期才能给予管理层正确的决策参考。数据质量管理作为数据仓库的一个重要模块，主要可以分为数据的健康标准量化、监控和保障。

1.2. 数据质量标准分类

① 数据完整性: 数据不存在大量的缺失值、不缺少某一日期/部门/地点等部分维度的数据，同时在ETL过程当中应保证数据的完整不丢失。验证数据时总数应符合正常规律时间推移，记录数总数的增长符合正常的趋势。

② 数据一致性: 数仓各层的数据，应与上一层保持数据一致，最终经过数据清洗转化（ETL）的宽表/指标能和数据源保持一致。

③ 数据不重复性：一个数据集当中同一条数据记录不能出现多次，数据不能大量重复冗余，保证数据的唯一性。

1.3  数据质量管理解决方案

本文通过Shell命令和Hive脚本的方式，通过验证增量数据的记录数、全表空值记录数、全表记录数、全表重复值记录数是否在合理的范围之内，以及验证数据来源表和目标表一致性，确定当日的数据是否符合健康标准，达到数据质量的监控与管理。

第2章 ODS层数据校验

2.1 数据校验通用脚本

通过shell脚本调用hive，检验当日分区增加的记录数量和全表记录数量是否在合理的范围之内，同时检验关键字段为空的记录的记录数量以及重复值的数量。

1）创建数据检查脚本文件夹，用于存放数据校验shell脚本

[centos@hadoop102 module]$ mkdir -p data_check/sh

[centos@ hadoop102 sh]$ pwd

/opt/module/data_check/sh

2）在Hive中创建表数据质量校验记录表，记录数据校验的各个指标：

[centos@atguigu data_check]$ hive

创建数据库，用于存放数据质量校验的结果数据：

hive (default)> create database datacheck;

创建数据表，用于存放ods层的数据检验结果：

hive (datacheck)> create table datacheck.table_count_add_standard(

    data_date string comment '数据时间分区dt',

    database_name string comment '库名',

table_name string comment '表名',

table_type string comment '表类型（全量/增量）',

    add_count bigint comment '当日增量数据的记录数',

null_count bigint comment '表空值记录数',

duplicate_count bigint comment '表重复值记录数',

total_count bigint comment '全表记录数'

);

hive (datacheck)>quit;

3）在路径/opt/module/data_check/sh下创建数据检验增量表通用shell脚本

[centos@hadoop102 sh]$ vim increment_data_check_public.sh

在脚本中编写如下内容：

#!/bin/bash

# 增量数据所在的日期分区

do_date=$1

# 校验数据的表名

table_name=$2

# 需要校验空值的列名，以逗号’,’隔开

null_column=$3

# 初始化SQL查询语句

null_where_sql_str=''

# 将空值检验字符串切成列名数组

array=(${null_column//,/ })

# 遍历数组，拼接空值查询条件

for(( i=0;i<${#array[@]};i++)) do

   if [ $i -eq 0 ];then

        null_where_sql_str=" where ${array[i]} is null "

   else

        null_where_sql_str="$null_where_sql_str or ${array[i]} is null "

   fi

done;

echo "------------------检验增量记录数--------------------"

# 执行当日增量数据记录数量SQL查询语句

add_count_query_result=`hive -e "select count(*) from gmall.$table_name where dt='$do_date'"`

# 取出当日增量数据记录数量

add_count=${add_count_query_result:3}

echo "------------------检验全表记录数--------------------"

# 执行当日全表数据记录数量SQL查询语句

total_count_query_result=`hive -e "select count(*) from gmall.$table_name"`

# 取出当日全量数据记录数量

total_count=${total_count_query_result:3}

echo "------------------检验空值记录数--------------------"

# 执行全表空值数据记录数量SQL查询语句

table_null_query_result=`hive -e "select count(*) from gmall.$table_name $null_where_sql_str"`

# 取出全表空值数据记录数量

null_count=${table_null_query_result:3}

echo "------------------检验重复值记录数--------------------"

# 执行全表重复值的记录数量SQL查询语句

table_duplicate_query_result=`hive -e "select sum(tmp.duplicate_count) as duplicate_sum from (select count(*) as duplicate_count from gmall.$table_name group by $null_column having count(*)>1) as tmp"`

# 取出全表重复值数据记录数量

duplicate_count=${table_duplicate_query_result:3}

echo "------------------开始插入数据--------------------"

# 将所有数据检验结果插入到表中

hive -e "insert into datacheck.table_count_add_standard values('$do_date','gmall','$table_name','increment_table', '$add_count', '$null_count', '$duplicate_count', '$total_count')"

脚本参数注释：

第一个参数：传入时间分区参数( dt )

第二个参数：需要进行数据校验的表名( table_name )

第三个参数：需要判断是否为空值或重复值的字段名称用逗号‘ ，’隔开，例如：col1,col2,col3

给脚本/opt/module/data_check/sh/increment_data_check_public.sh赋权限：

[centos@hadoop102 sh]$ chmod 777 increment_data_check_public.sh

脚本执行示例：

[centos@hadoop102 sh]$

./increment_data_check_public.sh 2020-06-14 ods_activity_rule id,activity_id

4）在路径/opt/module/data_check/sh下创建数据检验全量表通用shell脚本

[centos@hadoop102 sh]$ vim total_data_check_public.sh

在脚本中编写如下内容：

#!/bin/bash

# 增量数据所在的日期分区

do_date=$1

# 校验数据的表名

table_name=$2

# 需要校验空值的列名，以逗号’,’隔开

null_column=$3

# 将空值检验字符串切成列名数组

null_where_sql_str=''

# 遍历数组，拼接空值查询条件

array=(${null_column//,/ })

# 遍历数组，拼接空值查询条件

for(( i=0;i<${#array[@]};i++)) do

   if [ $i -eq 0 ];then

        null_where_sql_str=" where ${array[i]} is null "

   else

        null_where_sql_str="$null_where_sql_str or ${array[i]} is null "

   fi

done;

# 执行当日全表数据记录数量SQL查询语句table_count_query_result=`hive -e "select count(*) from gmall.$table_name"`

# 取出当日全量数据记录数量

table_count=${table_count_query_result:3}

echo "------------------检验全表记录数--------------------"

# 执行全表空值数据记录数量SQL查询语句

table_null_query_result=`hive -e "select count(*) from gmall.$table_name $null_where_sql_str"`

# 取出全表空值数据记录数量

null_count=${table_null_query_result:3}

echo "------------------检验重复值--------------------"

# 执行全表重复值的记录数量SQL查询语句

table_duplicate_query_result=`hive -e "select sum(tmp.duplicate_count) as duplicate_sum from (select count(*) as duplicate_count from gmall.$table_name group by $null_column having count(*)>1) as tmp"`

# 取出全表重复值数据记录数量

duplicate_count=${table_duplicate_query_result:3}

echo "------------------开始插入数据--------------------"

# 将所有数据检验结果插入到表中

hive -e "insert into datacheck.table_count_add_standard values('$do_date','gmall','$table_name','total_table',null, '$null_count', '$duplicate_count','$table_count')"

脚本参数注释：

第一个参数：传入数据校验日期( dt )

第二个参数：需要进行数据校验的表名( table_name )

第三个参数：需要判断是否为空值的字段名称用逗号’ , ‘隔开，例如：col1,col2,col3

给脚本/opt/module/data_check/sh/total_data_check_public.sh赋权限：

[centos@hadoop102 sh]$ chmod 777 total_data_check_public.sh

脚本执行示例：

[centos@hadoop102 sh]$ ./total_data_check_public.sh 2020-06-14 ods_activity_rule id,activity_id

2.2 ODS层各表检验

1. 涉及表

增量检查

  • （1）订单详情表（ods_order_detail）
  • （2）用户表（ods_user_info）
  • （3）支付流水表（ods_payment_info）
  • （4）订单状态表（ods_order_status_log）
  • （5）商品评论表（ods_comment_info）
  • （6）退单表（ods_order_refund_info）
  • （7）活动订单关联表（ods_activity_order）

全量检查

  • （1）订单表（ods_order_info）
  • （2）SKU商品表（ods_sku_info）
  • （3）商品一级分类表（ods_base_category1）
  • （4）商品二级分类表（ods_base_category2）
  • （5）商品三级分类表（ods_base_category3）
  • （6）品牌表（ods_base_trademark）
  • （7）SPU商品表（ods_spu_info）
  • （8）加购表（ods_cart_info）
  • （9）商品收藏表（ods_favor_info）
  • （10）优惠券领用表（ods_coupon_use）
  • （11）优惠券表（ods_coupon_info）
  • （12）活动表（ods_activity_info）
  • （13）优惠规则表（ods_activity_rule）
  • （14）编码字典表（ods_base_dic）

2. ODS层数据检查脚本

        1）在路径/opt/module/data_check/sh下创建ODS层数据检查脚本

[centos@centos sh]$ pwd

/opt/module/data_check/sh

[centos@centos sh]$ vim ods_data_check.sh

在脚本中编写如下内容：

#!/bin/bash

data_date=$1


# 增量检查

# 订单详情表

/opt/module/data_check/sh/increment_data_check_public.sh $data_date ods_order_detail id,order_id,user_id,sku_id,sku_name,order_price,sku_num,create_time

# 用户表

/opt/module/data_check/sh/increment_data_check_public.sh $data_date ods_user_info id,name,birthday,gender,email,user_level,create_time,operate_time

# 支付流水表

/opt/module/data_check/sh/increment_data_check_public.sh $data_date ods_payment_info id,out_trade_no,order_id,user_id,alipay_trade_no,total_amount,subject,payment_type,payment_time

# 订单状态表

/opt/module/data_check/sh/increment_data_check_public.sh $data_date ods_order_status_log id,order_id,order_status,operate_time

# 商品评论表

/opt/module/data_check/sh/increment_data_check_public.sh $data_date ods_comment_info id,user_id,sku_id,spu_id,order_id,appraise,create_time

# 退单表

/opt/module/data_check/sh/increment_data_check_public.sh $data_date ods_order_refund_info id,user_id,order_id,sku_id,refund_type,refund_num,refund_amount,refund_reason_type,create_time

# 活动订单关联表

/opt/module/data_check/sh/increment_data_check_public.sh $data_date ods_activity_order id,activity_id,order_id,create_time

# 全量检查

# 订单表

/opt/module/data_check/sh/total_data_check_public.sh $data_date ods_order_info id,final_total_amount,order_status,user_id,out_trade_no,create_time,operate_time,province_id,benefit_reduce_amount,original_total_amount,feight_fee

# SKU商品表

/opt/module/data_check/sh/total_data_check_public.sh $data_date ods_sku_info id,spu_id,price,sku_name,sku_desc,weight,tm_id,category3_id,create_time

# 商品一级分类表

/opt/module/data_check/sh/total_data_check_public.sh $data_date ods_base_category1 id,name

# 商品二级分类表

/opt/module/data_check/sh/total_data_check_public.sh $data_date ods_base_category2 id,name,category1_id

# 商品三级分类表

/opt/module/data_check/sh/total_data_check_public.sh $data_date ods_base_category3 id,name,category2_id

# 品牌表

/opt/module/data_check/sh/total_data_check_public.sh $data_date ods_base_trademark tm_id,tm_name

# SPU商品表

/opt/module/data_check/sh/total_data_check_public.sh $data_date ods_spu_info id,spu_name,category3_id,tm_id

# 加购表

/opt/module/data_check/sh/total_data_check_public.sh $data_date ods_cart_info id,user_id,sku_id,cart_price,sku_num,sku_name,create_time,operate_time,is_ordered,order_time

# 商品收藏表

/opt/module/data_check/sh/total_data_check_public.sh $data_date ods_favor_info id,user_id,sku_id,spu_id,is_cancel,create_time,cancel_time

# 优惠券领用表

/opt/module/data_check/sh/total_data_check_public.sh $data_date ods_coupon_use id,coupon_id,user_id,order_id,coupon_status,get_time,using_time,used_time

# 优惠券表

/opt/module/data_check/sh/total_data_check_public.sh $data_date ods_coupon_info id,coupon_name,coupon_type,condition_amount,condition_num,activity_id,benefit_amount,benefit_discount,create_time,range_type,spu_id,tm_id,category3_id,limit_num,operate_time,expire_time

# 活动表

/opt/module/data_check/sh/total_data_check_public.sh $data_date ods_activity_info id,activity_name,activity_type,start_time,end_time,create_time

# 优惠规则表

/opt/module/data_check/sh/total_data_check_public.sh $data_date ods_activity_rule id,activity_id,condition_amount,condition_num,benefit_amount,benefit_discount,benefit_level

# 编码字典表

/opt/module/data_check/sh/total_data_check_public.sh $data_date ods_base_dic dic_code,dic_name,parent_code,create_time,operate_time

2）给脚本/opt/module/data_check/sh/ods_data_check.sh赋权限：

[centos@centos sh]$ chmod 777 ods_data_check.sh

第3章 DWD层数据校验

3.1 数据校验通用脚本

1）创建数据表，用于存放dwd层的数据检验结果：

hive (datacheck)> create table datacheck.dwd_table_data_check(

    data_date string comment '数据时间分区dt',

    database_name string comment '库名',

    source_table_name string comment '数据源表表名',

    source_column string comment '数据源表字段名',

    target_table_name string comment '数据目标表表名',

    target_column string comment '数据目标表字段名',

    consistent_data_count bigint comment '全表数据一致记录数',

    source_table_count bigint comment '数据源表全表记录数',

target_table_count bigint comment '数据目标表全表记录数',

target_duplicate_count bigint comment '数据目标表重复记录数'

);

hive (datacheck)>quit;

2）在路径/opt/module/data_check/sh下创建dwd层数据一致性检验通用shell脚本

[centos@hadoop102 sh]$ vim table_consistent_check_public.sh

在脚本中编写如下内容：

#!/bin/bash

# 增量数据所在的日期分区

do_date=$1

# 校验数据源表的表名

source_table_name=$2

# 检验数据源表的字段（与目标表顺序一致才能对比两个字段）

source_column=$3

# 检验数据目标表的表名

target_table_name=$4

# 检验数据目标表的字段（与源表顺序一致才能对比两个字段）

target_column=$5


# 初始化SQL查询语句

join_on_sql_str=''

# 将检验数据源表的字段切成列名数组

source_column_array=(${source_column//,/ })

# 将检验数据目标表的字段切成列名数组

target_column_array=(${target_column//,/ })


# 遍历数组，拼接表关联条件，输入字段全部关联

for(( i=0;i<${#source_column_array[@]};i++)) do

   if [ $i -eq 0 ];then

        join_on_sql_str=" on $source_table_name.${source_column_array[i]}=$target_table_name.${target_column_array[i]} "

   else

        join_on_sql_str="$join_on_sql_str and $source_table_name.${source_column_array[i]}=$target_table_name.${target_column_array[i]} "

   fi

done;


echo "-------------ods-dwd  一致性检查-------------"

# 执行数据源表和目标表关联查询SQL语句，查询数据一致的条数

consistent_data_query_result=`hive -e "select count(*) from gmall.$source_table_name join gmall.$target_table_name $join_on_sql_str"`

# 取出全表查询数据一致的条数

consistent_data_count=${consistent_data_query_result:3}


echo "---------------ods层记录条数-----------------"

# 执行查询数据源表的记录条数

source_table_query_result=`hive -e "select count(*) from gmall.$source_table_name"`

# 取出全表数据源表的记录条数

source_table_count=${source_table_query_result:3}


echo "---------------dwd层记录条数-----------------"

# 执行查询数据目标表的记录条数

target_table_query_result=`hive -e "select count(*) from gmall.$target_table_name"`

# 取出全表数据目标表的记录条数

target_table_count=${target_table_query_result:3}


# 执行全表重复值的记录数量SQL查询语句

table_duplicate_query_result=`hive -e "select sum(tmp.duplicate_count) as duplicate_sum from (select count(*) as duplicate_count from gmall.$target_table_name group by $target_column having count(*)>1) as tmp"`

# 取出全表重复值数据记录数量

duplicate_count=${table_duplicate_query_result:3}


# 将所有数据检验结果插入到表中

hive -e "insert into datacheck.dwd_table_data_check values('$do_date','gmall','$source_table_name','$source_column','$target_table_name','$target_column','$consistent_data_count','$source_table_count','$target_table_count','$duplicate_count')"

脚本参数注释：

  • 第1个参数：传入时间分区参数( dt )
  • 第2个参数：需要进行数据校验源表的表名(source_table_name )
  • 第3个参数：需要校验的数据源表字段名称用逗号‘ ，’隔开，例如：col1,col2,col3
  • 第4个参数：需要进行数据校验目标表的表名(target_table_name )
  • 第5个参数：需要校验的数据目标表字段名称用逗号‘ ，’隔开，例如：col1,col2,col3

给脚本/opt/module/data_check/sh/increment_data_check_public.sh赋权限：

[centos@hadoop102 sh]$ chmod 777 table_consistent_check_public.sh

脚本执行示例：

[centos@hadoop102 sh]$ ./table_consistent_check_public.sh 2020-06-14 ods_base_province name dwd_dim_base_province province_name

3.2 DWD层各表检验

1. 业务数据表数据检验

  • 优惠券信息表

数据源表：ods_coupon_info

源表字段：id,coupon_name,coupon_type,condition_amount,condition_num,activity_id,benefit_amount,benefit_discount,create_time,range_type,spu_id,tm_id,category3_id,limit_num,operate_time,expire_time

数据目标表：dwd_dim_coupon_info

目标表字段：id,coupon_name,coupon_type,condition_amount,condition_num,activity_id,benefit_amount,benefit_discount,create_time,range_type,spu_id,tm_id,category3_id,limit_num,operate_time,expire_time

分区：dt='2020-06-14'

数据检查脚本：

[centos@hadoop102 sh]$ pwd

/opt/module/data_check/sh

[centos@hadoop102 sh]$ /opt/module/data_check/sh/table_consistent_check_public.sh 2020-06-14 ods_coupon_info id,coupon_name,coupon_type,condition_amount,condition_num,activity_id,benefit_amount,benefit_discount,create_time,range_type,spu_id,tm_id,category3_id,limit_num,operate_time,expire_time dwd_dim_coupon_info id,coupon_name,coupon_type,condition_amount,condition_num,activity_id,benefit_amount,benefit_discount,create_time,range_type,spu_id,tm_id,category3_id,limit_num,operate_time,expire_time
  • 订单明细事实表

数据源表：ods_order_detail

源表字段：id,order_id,user_id,sku_id,sku_name,order_price,sku_num,create_time

数据目标表：dwd_fact_order_detail

目标表字段：id,order_id,user_id,sku_id,sku_name,order_price,sku_num,create_time

分区：dt='2020-06-14'

数据检查脚本：

[centos@hadoop102 sh]$ pwd

/opt/module/data_check/sh

[centos@hadoop102 sh]$ /opt/module/data_check/sh/table_consistent_check_public.sh 2020-06-14 ods_order_detail id,order_id,user_id,sku_id,sku_name,order_price,sku_num,create_time dwd_fact_order_detail id,order_id,user_id,sku_id,sku_name,order_price,sku_num,create_time
  • 支付事实表

数据源表：ods_payment_info

源表字段：id,out_trade_no,order_id,user_id,alipay_trade_no,total_amount,subject,payment_type,payment_time

数据目标表：dwd_fact_payment_info

目标表字段：id,out_trade_no,order_id,user_id,alipay_trade_no,payment_amount,subject,payment_type,payment_time

分区：dt='2020-06-14'

数据检查脚本：

[centos@hadoop102 sh]$ pwd

/opt/module/data_check/sh

[centos@hadoop102 sh]$ /opt/module/data_check/sh/table_consistent_check_public.sh 2020-06-14 ods_payment_info id,out_trade_no,order_id,user_id,alipay_trade_no,total_amount,subject,payment_type,payment_time dwd_fact_payment_info id,out_trade_no,order_id,user_id,alipay_trade_no,payment_amount,subject,payment_type,payment_time
  • 退款事实表

数据源表：ods_order_refund_info

源表字段：id,user_id,order_id,sku_id,refund_type,refund_num,refund_amount,refund_reason_type,create_time

数据目标表：dwd_fact_order_refund_info

目标表字段：id,user_id,order_id,sku_id,refund_type,refund_num,refund_amount,refund_reason_type,create_time

分区：dt='2020-06-14'

数据检查脚本：

[centos@hadoop102 sh]$ pwd

/opt/module/data_check/sh

[centos@hadoop102 sh]$ /opt/module/data_check/sh/table_consistent_check_public.sh 2020-06-14 ods_order_refund_info id,user_id,order_id,sku_id,refund_type,refund_num,refund_amount,refund_reason_type,create_time dwd_fact_order_refund_info id,user_id,order_id,sku_id,refund_type,refund_num,refund_amount,refund_reason_type,create_time
  • 评价事实表

数据源表：ods_comment_info

源表字段：id,user_id,sku_id,spu_id,order_id,appraise,create_time

数据目标表：dwd_fact_comment_info

目标表字段：id,user_id,sku_id,spu_id,order_id,appraise,create_time

分区：dt='2020-06-14'

数据检查脚本：

[centos@hadoop102 sh]$ pwd

/opt/module/data_check/sh

[centos@hadoop102 sh]$ /opt/module/data_check/sh/table_consistent_check_public.sh 2020-06-14 ods_comment_info id,user_id,sku_id,spu_id,order_id,appraise,create_time dwd_fact_comment_info id,user_id,sku_id,spu_id,order_id,appraise,create_time
  • 加购事实表

数据源表：ods_cart_info

源表字段：id,user_id,sku_id,cart_price,sku_num,sku_name,create_time,operate_time,is_ordered,order_time

数据目标表：dwd_fact_cart_info

目标表字段：id,user_id,sku_id,cart_price,sku_num,sku_name,create_time,operate_time,is_ordered,order_time

分区：dt='2020-06-14'

数据检查脚本：

[centos@hadoop102 sh]$ pwd

/opt/module/data_check/sh

[centos@hadoop102 sh]$ /opt/module/data_check/sh/table_consistent_check_public.sh 2020-06-14 ods_cart_info id,user_id,sku_id,cart_price,sku_num,sku_name,create_time,operate_time,is_ordered,order_time dwd_fact_cart_info id,user_id,sku_id,cart_price,sku_num,sku_name,create_time,operate_time,is_ordered,order_time
  • 收藏事实表

数据源表：ods_favor_info

源表字段：id,user_id,sku_id,spu_id,is_cancel,create_time,cancel_time

数据目标表：dwd_fact_favor_info

目标表字段：id,user_id,sku_id,spu_id,is_cancel,create_time,cancel_time

分区：dt='2020-06-14'

数据检查脚本：

[centos@hadoop102 sh]$ pwd

/opt/module/data_check/sh

[centos@hadoop102 sh]$ /opt/module/data_check/sh/table_consistent_check_public.sh 2020-06-14 ods_favor_info id,user_id,sku_id,spu_id,is_cancel,create_time,cancel_time dwd_fact_favor_info id,user_id,sku_id,spu_id,is_cancel,create_time,cancel_time

2. DWD层数据检查脚本

1）在路径/opt/module/data_check/sh下创建dwd层数据一致性检验shell脚本

[centos@hadoop102 sh]$ vim dwd_data_check.sh

2）在脚本中编写如下内容：

#!/bin/bash

# 数据所在的日期分区

do_date=$1


/opt/module/data_check/sh/table_consistent_check_public.sh $do_date ods_coupon_info id,coupon_name,coupon_type,condition_amount,condition_num,activity_id,benefit_amount,benefit_discount,create_time,range_type,spu_id,tm_id,category3_id,limit_num,operate_time,expire_time dwd_dim_coupon_info id,coupon_name,coupon_type,condition_amount,condition_num,activity_id,benefit_amount,benefit_discount,create_time,range_type,spu_id,tm_id,category3_id,limit_num,operate_time,expire_time


/opt/module/data_check/sh/table_consistent_check_public.sh $do_date ods_order_detail id,order_id,user_id,sku_id,sku_name,order_price,sku_num,create_time dwd_fact_order_detail id,order_id,user_id,sku_id,sku_name,order_price,sku_num,create_time


/opt/module/data_check/sh/table_consistent_check_public.sh $do_date ods_payment_info id,out_trade_no,order_id,user_id,alipay_trade_no,total_amount,subject,payment_type,payment_time dwd_fact_payment_info id,out_trade_no,order_id,user_id,alipay_trade_no,payment_amount,subject,payment_type,payment_time


/opt/module/data_check/sh/table_consistent_check_public.sh $do_date ods_order_refund_info id,user_id,order_id,sku_id,refund_type,refund_num,refund_amount,refund_reason_type,create_time dwd_fact_order_refund_info id,user_id,order_id,sku_id,refund_type,refund_num,refund_amount,refund_reason_type,create_time


/opt/module/data_check/sh/table_consistent_check_public.sh $do_date ods_comment_info id,user_id,sku_id,spu_id,order_id,appraise,create_time dwd_fact_comment_info id,user_id,sku_id,spu_id,order_id,appraise,create_time


/opt/module/data_check/sh/table_consistent_check_public.sh $do_date ods_cart_info id,user_id,sku_id,cart_price,sku_num,sku_name,create_time,operate_time,is_ordered,order_time dwd_fact_cart_info id,user_id,sku_id,cart_price,sku_num,sku_name,create_time,operate_time,is_ordered,order_time


/opt/module/data_check/sh/table_consistent_check_public.sh $do_date ods_favor_info id,user_id,sku_id,spu_id,is_cancel,create_time,cancel_time dwd_fact_favor_info id,user_id,sku_id,spu_id,is_cancel,create_time,cancel_time

脚本参数注释：

第1个参数：传入时间分区参数( dt )

3）给脚本/opt/module/data_check/sh/dwd_data_check.sh赋权限：

[centos@hadoop102 sh]$ chmod 777 dwd_data_check.sh

脚本执行示例：

[centos@hadoop102 sh]$ ./dwd_data_check.sh 2020-06-15

第4章 DWS层数据校验

4.1 DWS层数据质量校验

        由于DWS层数据质量无法从一致性进行判断，只能通过表记录数以及空值记录数等维度判断， 所以在DWS将检验当日宽表记录数量是否在合理的范围之内，同时检验关键字段为空的记录的记录数量。

4.2 DWS层数据校验脚本

        1. 数据校验涉及表

                 每日会员行为

                 每日商品行为

                 每日活动行为

                 每日地区行为

2.数据质量校验脚本

        1）在路径/opt/module/data_check/sh下创建ODS层数据检查脚本

[centos@centos sh]$ pwd

/opt/module/data_check/sh

[centos@centos sh]$ vim dws_data_check.sh

在脚本中编写如下内容：

#!/bin/bash

data_date=$1

# 每日会员行为

/opt/module/data_check/sh/total_data_check_public.sh $data_date dws_user_action_daycount user_id,login_count,cart_count,order_count

# 每日商品行为

/opt/module/data_check/sh/total_data_check_public.sh $data_date dws_sku_action_daycount sku_id,order_count,order_num,order_amount,payment_count,payment_num,payment_amount,refund_count

# 每日活动行为

/opt/module/data_check/sh/total_data_check_public.sh $data_date dws_activity_info_daycount id,activity_name,activity_type,start_time,end_time,create_time,display_count

# 每日地区统计

/opt/module/data_check/sh/total_data_check_public.sh $data_date dws_area_stats_daycount id,province_name,area_code,iso_code,region_id,region_name,login_count,order_count,order_amount,payment_count,payment_amount

2）给脚本/opt/module/data_check/sh/dws_data_check.sh赋权限：

[centos@centos sh]$ chmod 777 dws_data_check.sh

3）执行/opt/module/data_check/sh/dws_data_check.sh，检验2020-06-14当日宽表数据质量。

[centos@centos sh]$ ./dws_data_check.sh 2020-06-14

第5章 DWT层数据校验

5.1 DWT层数据质量校验方法

        在宽表阶段数据已经经过了一定的判断、过滤和变换等操作，因此在DWT层也将检验当日宽表记录数量是否在合理的范围之内，同时检验关键字段为空的记录的记录数量。

5.2 宽表校验脚本

        1. 数据校验涉及表

                 设备主题宽表

                 会员主题宽表

                 商品主题宽表

                 活动主题宽表

                 地区主题宽表

        2.数据质量校验脚本

        1）在路径/opt/module/data_check/sh下创建ODS层数据检查脚本

[centos@centos sh]$ pwd

/opt/module/data_check/sh

[centos@centos sh]$ vim dwt_data_check.sh

在脚本中编写如下内容：

#!/bin/bash

data_date=$1

# 全量检查

# 设备主题宽表

/opt/module/data_check/sh/total_data_check_public.sh $data_date dwt_uv_topic mid_id,brand,model,login_date_first,login_date_last,login_day_count,login_count

# 会员主题宽表

/opt/module/data_check/sh/total_data_check_public.sh $data_date dwt_user_topic user_id,login_date_first,login_date_last,login_count,login_last_30d_count,order_date_first,order_date_last,order_count,order_amount,order_last_30d_count,order_last_30d_amount,payment_date_first,payment_date_last,payment_count,payment_amount,payment_last_30d_count,payment_last_30d_amount

# 商品主题宽表

/opt/module/data_check/sh/total_data_check_public.sh $data_date dwt_sku_topic sku_id,spu_id,order_last_30d_count,order_last_30d_num,order_last_30d_amount,order_count,order_num,order_amount

# 活动主题宽表

/opt/module/data_check/sh/total_data_check_public.sh $data_date dwt_activity_topic id,activity_name,activity_type,start_time,end_time,create_time,display_day_count,order_day_count,order_day_amount,payment_day_count,payment_day_amount,display_count,order_count,order_amount,payment_count,payment_amount

# 地区主题宽表

/opt/module/data_check/sh/total_data_check_public.sh $data_date id,province_name,area_code,iso_code,region_id,region_name,login_day_count,login_last_30d_count,order_day_count,order_day_amount,order_last_30d_count,order_last_30d_amount,payment_day_count,payment_day_amount,payment_last_30d_count,payment_last_30d_amount

2）给脚本/opt/module/data_check/sh/dwt_data_check.sh赋权限：

[centos@centos sh]$ chmod 777 dwt_data_check.sh

3）执行/opt/module/data_check/sh/dwt_data_check.sh，检验2020-06-15当日宽表数据质量。

[centos@centos sh]$ ./dwt_data_check.sh 2020-16-15

第6章 ADS层数据校验

        数据仓库中ADS层数据是经过高度聚合计算的具体指标，因此无法从技术层面进行判断数据是否健康。需要通过校对对各个指标的数值是否在合理的范围之内进行校验，进行定制化数据校验。由于ADS层涉及的需求无法一一涉及，因此在这针对一个需求进行分析。

1）在Hive中创建表数据质量校验记录表，记录数据校验的各个指标：

[centos@centos data_check]$ hive

创建数据库，用于存放数据质量校验的结果数据：

hive (default)> create database datacheck;

创建数据表，用于存放ods层的数据检验结果：

hive (datacheck)> create table datacheck.ads_table_data_check(

    data_date string comment '数据时间分区dt',

    database_name string comment '库名',

table_name string comment '表名',

column_name string comment '指标名',

    healthy_value string comment '该指标合理值',

now_value bigint comment '该指标当前值',

is_healthy bigint comment '该指标是否合理：1合理/0不合理'

);

hive (datacheck)>quit;

2）在路径/opt/module/data_check/sh下创建数据检验增量表通用shell脚本
 

[centos@hadoop102 sh]$ vim ads_data_check.sh

在脚本中编写如下内容：

#!/bin/bash

# 增量数据所在的日期分区

do_date=$1


hive -e "insert into datacheck.ads_table_data_check select

    temp.data_date,

    temp.database_name,

    temp.table_name,

    temp.column_name,

    temp.healthy_value,

    temp.new_mid_count,

    temp.is_healthy

from (

    select

        \"$do_date\" as data_date,

        \"gmall\" as database_name,

        \"ads_new_mid_count\" as table_name,

        \"new_mid_count\" as column_name,

        \"bigger than 300\" as healthy_value,

        new_mid_count,

        if(new_mid_count>300,1,0) as is_healthy

    from gmall.ads_new_mid_count

) as temp

"

脚本参数注释：

第一个参数：传入时间分区参数( dt )

给脚本/opt/module/data_check/sh/ads_data_check.sh赋权限：

[centos@hadoop102 sh]$ chmod 777 ads_data_check.sh

脚本执行示例：

[centos@hadoop102 sh]$

./ads_data_check.sh 2020-06-14

莫叫石榴姐
关注
  • 0
    点赞
  • 踩
  • 31
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
数仓建模—数据质量
2401_84052244的博客
04-26 36
在数据流转链路上，需要整理消费各个表的应用业务。通过给这些应用业务划分数据资产等级，结合数据的上下游依赖关系，将整个链路打上某一类资产等级的标签。根据数据质量不满足完整性、准确性、一致性、及时性时，对业务的影响程度划分数据的资产等级。通常，划分为5个性质的等级：毁灭性质：数据一旦出错，将会引起重大资产损失，面临重大收益损失等。标记为A1。全局性质：数据直接或间接用于企业级业务、效果评估和重要决策等。标记为A2。
【大数据技术】终于有人把数据质量管理讲明白了！数据质量：数据治理的核心
热门推荐
禅与计算机程序设计艺术
03-18 2万+
导读随着业务发展和数据量的增加，大数据应用开发已成为部门应用开发常用的开发方式，由于部门业务特点的关系，spark和hive应用开发在部门内部较为常见。当处理的数据量达到一定量级和系统的复杂度上升时，数据的唯一性、完整性、一致性等等校验就开始受到关注，而通常做法是根据业务特点，额外开发job如报表或者检查任务，这样会比较费时费力。目前遇到的表大部分在几亿到几十亿的数据量之间，并且报表数量在不断增加，在这种情况下，一个可配置、可视化、可监控的数据质量工具就显得尤为重要了。
离线数仓-11-数据质量管理
迷雾总会解
06-01 556
主要是基于shell和python来编写脚本，进行数据质量的管理，并采用Azkaban进行调度，最后集成第三方告警平台睿象云。
数据仓库之数据质量建设（深度好文）
最新发布
2401_84166567的博客
04-29 303
如何评估数据质量的好坏，业界有不同的标准，我总结了以下六个维度进行评估，包括。完整性指的是数据信息是否存在缺失的状况，数据缺失的情况可能是整个数据记录缺失，也可能是数据中某个字段信息的记录缺失。规范性指的是描述数据遵循预定的语法规则的程度，是否符合其定义，比如数据的类型、格式、取值范围等。一致性是指数据是否遵循了统一的规范，数据集合是否保持了统一的格式。数据质量的一致性主要体现在数据记录的规范和数据是否符合逻辑，一致性并不意味着数值上的绝对相同，而是数据收集、处理的方法和标准的一致。
数据仓库-数据质量管理
Markble
01-31 2327
数据仓库-数据质量管理
数据仓库实践杂谈（六）-数据校验
cfy_fantasyxx的博客
12-12 6798
从数据源卸载出来的数据，进入仓库之前的第一个步骤就需要进行数据校验。数据校验的前提是在元数据中建立一套合适的数据标准。而其中，最重要的是确定每个字段的取值范围。基于这个数据标准，同步建立一套程序用于检查将要进入仓库的数据的有效性。
所谓的数据质量
微信搜：import_bigdata，大数据领域硬核原创作者
05-11 498
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源导读：随着大数据行业的深入发展，数据质量越来越成为一个绕不开的话题，那当大家在聊数据质量的时候，通常会聊什么呢？从什么是数据质量开...
数据仓库系列之数据质量管理
weixin_30552635的博客
08-27 844
　　数据质量一直是数据仓库领域一个比较令人头疼的问题，因为数据仓库上层对接很多业务系统，业务系统的脏数据，业务系统变更，都会直接影响数据仓库的数据质量。因此数据仓库的数据质量建设是一些公司的重点工作。 　　一、数据质量 　　数据质量的高低代表了该数据满足数据消费者期望的程度，这种程度基于他们对数据的使用预期。数据质量必须是可测量的，把测量的结果转化为可以理解的和可重复的数字，使我们能...
数据仓库之数据质量建设方案.pdf
10-13
在数据仓库之数据质量建设方案中，数据质量管理流程是一个非常重要的环节。该流程包括数据资产等级的定义、数据质量的评估和数据质量的改进等几个阶段。数据资产等级的定义是指根据数据质量不满足完整性、规范性、...
数据仓库之数据质量建设方案
01-30
数仓建设真正的难点不在于数仓设计，而在于后续业务发展起来，业务线变的庞大之后的数据治理，而数据治理的范围非常广，包含数据本⾝的管理、数据安全、数据质量、数据成本等。在这么多治理内容中，大家想下最重要的...
京东零售数据仓库演进之路.docx
12-18
京东零售数据仓库演进之路是京东零售数据仓库的核心能力和场景实践的总结，它展示了京东零售数据仓库的发展历程和技术架构，并提供了数据资产管理、数据质量保证、离线实践、实时和批流一体上的场景实践等方面的技术...
元数据管理在数据仓库的实践应用.docx
12-15
元数据管理在数据仓库的实践应用中扮演着至关重要的角色，它是确保数据质量和有效性的基石。元数据，即描述数据的数据，包括业务元数据（如数据含义、来源、用途等）和技术元数据（如数据格式、结构、存储位置等），...
数据仓库需求文档.pdf
03-19
商业智能初期应用主要是生产运营与管理数据的报表汇总财务管理预定义报表多维分析动态分析数据挖掘数据仓库战略目标绩效评估分析资产负债分析信用风险分析利润贡献分析成本分析安全质量分析人力资源资产管理等。
编写sqoop的自动shell脚本完成对hive中ods层的增量数据导入
奇迹虎虎的博客
02-17 859
编写sqoop的自动shell脚本完成对hive中ods层的增量数据导入
如何用shell脚本判断hive数据库是否导入dt分区的数据？
weixin_44548432的博客
03-29 2571
如何用shell脚本判断hive数据库是否导入dt分区的数据？ 如何用python去除文件目录下所有文件的首行?
（30）ODS 层加载数据脚本
song_quan_的博客
07-12 498
1.编写脚本 1）在/home/atguigu/bin 目录下创建脚本 hdfs_to_ods_db.sh [atguigu@hadoop102 bin]$ vim hdfs_to_ods_db.sh 在脚本中填写如下内容 #!/bin/bash APP=gmall hive=/opt/module/hive/bin/hive # 如果是输入的日期按照取输入日期；如果没输入日期取当前时间的前一天 if [ -n "$2" ] ;then do_date=$2 else
【Spark数仓项目】需求一：项目用户数据生成-ODS层导入-DWD层初步构建
qq_31412425的博客
06-26 798
本项目使用一台虚拟机，主机名Hadoop10，CentOS7系统。虚拟机服务器jdk选用1.8，包括完整生态的hadoop spark；本地主机为win11，scala2.12.17，在idea集成环境中编写。
得物交易域数据仓库数据质量保障体系建设 |大数据测试
yuan2789的博客
01-29 1603
得物交易域数据仓库数据质量保障体系建设 ｜ 得物技术
数据仓库中数据资产管理功能详细介绍
03-24
C知道：数据仓库中的数据资产管理功能是指对数据仓库中的数据进行管理、维护和优化的一系列操作。这些操作包括数据的收集、存储、清洗、整合、分析和共享等。数据资产管理功能可以帮助企业更好地管理和利用数据，提高数据的价值和效益。具体的功能包括数据质量管理、数据血缘分析、数据安全管理、数据访问控制等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值