如何在HHDI中进行数据质量探查并获取数据剖析报告

通过执行多种数据剖析规则，对目标表（或一段SQL语句）进行数据质量探查，从而得到其数据质量情况。目前支持以下几种数据剖析类型，分别是：数字值分析、值匹配检查、字符值分析、日期值分析、布尔值分析、重复值检查、表达式匹配、参照完整性检查、值分布分析。数据剖析完成后可以通过日志中的链接查看其产生的剖析报告。数据剖析任务可以加入到作业流程中，以支持日常的增量数据探查，任务执行完后每个剖析规则均会返回剖析结果变量，可根据变量的值进行下一步的操作，比如发邮件通知数据的维护人员。

1.) 设定剖析规则

在任务管理中选择新建数据剖析任务，进入任务编辑页面，剖析对象页签中填写源连接和源表，也可在源表查询语句中输入一段SQL，可以对数据进行转换、过滤、获取增量等操作，语句支持嵌入变量。在剖析规则页签中添加多个剖析规则，选择要剖析的字段以及剖析类型，右侧的编辑按钮可进入高级设置页面。

剖析任务在执行成功后，会产生一组剖析结果变量，主要是统计的异常值行数，可以在成功条件页签中判断变量的值，从而进行后续的处理工作。

2.) 运行数据剖析

和其它任务一样，数据剖析任务可以添加到作业流程中，可以串行或并行执行，剖析完成的行数将实时显示在日志的插入列中，执行成功后，可以点击执行信息栏中的剖析结果打开剖析报告页面。

3.) 查看剖析报告

点击日志中的剖析结果超链接，将弹出剖析报告页面，可查看所有规则的概要信息以及各规则的明细分析结果。

点击左侧规则列表，查看各规则的详细分析数据，比如查看值匹配分析：

点击红色箭头可以进一步查看明细数据，如点击其空值行数，将显示空值行数的明细数据：

转载于:https://www.cnblogs.com/haohedi/p/9672867.html