hive数仓-数据的质量管理

版本20231116 要理解数据的质量管理，应具备hive数据仓库的相关知识

1.理解什么是数据的质量管理：

数据的质量管理，表现保障在数据的健康性，即满足消费者期望程度，体现在他们对数据的使用预期，只有达到预期才能满足决策层的参考。

大数据大而价值密度低，在有效信息数据挖掘上，可能会出现错误，在这个基础上，分析师会对数据有一个预期分数，如果他觉得数据的准确率在百分之八十以上就算是满足需求。
我们对数据的质量控制达到了这个标准，就算达到了数据的质量要求。

2.数据质量管理的规划

数据的质量管理作为数据仓库的一个重要模快，主要可以分为数据的健康标准量化，监控和保障。

数据质量标准的分类

1）数据的完整性
数据不存在大量的缺失值，不缺少某一日期的/部门、地点等部分维度的数据。随时间的推移，数据量符合正常的趋势

2）数据的一致性
数据各层的数据应与上层保持一致，经过elt处理后的宽表和指标能与数据源保持一致

3）数据的不重复性
同一个数据集当中统一个数据不能出现多次，不能出现数据的大量冗余保证数据的唯一性

3.数据质量管理解决方案

使用shell命令和hive脚本的方式，通过验证增量数据的记录数，全表空值记录数，全表空值记录数，全表记录数是否在合理的范围之内，以及验证数据来源表和目标表的一致性，确定当日的数据是否符合健康标准，达到数据质量的检测和管理。

1.ods层的数据质量校验

1）首先在hive上建立一个仓库，添加数据质量监控表

create database datacheck;

2）然后建立检查检查表

create table datacheck.table_count_add_standard(
data_date string comment '数据时间分区',
database_name string comment '库名',
table_name string comment '表名',
table_type string comment '表类型（增量/全量）'
add_count bigint comment '当日增量的数据数',
null_count bigint comment '表空值记录数',
duplicate_count bigint comment '表重复值记录数',
total_count bigint comment '全表记录数'
)

3）创建数据检验曾量表通用的脚本

[lyc@hadoop102 check]$ vim increment_data_check_public.sh

#!/bin/bash
#增量数据所在的日期分区
check_date=$1
#校验数据的表名
table_name=$2
#需要校验控制的列名，以‘，’号隔开
null_column=$3
#初始化sql查询语句
null_where_sql_str=''
#将控制检验字符切割成列名，数组
array=({
   null_column//,/})
#遍历数组，拼接空值查询条件
for(( i=0;i<${#array[@]};i++)) do
	if [ $i -eq 0 ];then
		null_where_sql_str=" where ${array[i]} is null "
	else
		null_where_sql_str="$null_where_sql_str or ${array[i]} is null"
	fi
d