【数据治理】自定义数据治理规则

数据治理包括数据质量探查、数据清洗、数据脱敏等，这几个动作实际上都是针对表数据的判断或转换，为了增加系统的灵活性和扩展性，可以将其抽象为规则，通过Java Script等形式允许用户自定义扩展，概念图如下：

其中，

• 数据质量探查规则：判断字段值是否符合相关规则，包括唯一性、完整性、准确性、一致性、时效性等；
• 数据清洗规则：对数据进行清洗转换处理，它是数据质量探查和数据处理的组合规则，先用探查规则检查数据，对于有问题的可以用清洗规则处理。问题处理可以有多种动作，包括纠正问题、标注问题及等级、忽略问题等
• 数据脱敏规则：对隐私数据做特定的处理，比如，加密、字段遮盖等。

上述这几个规则，均可以支持用户按照规范自己扩展，比如，Java Script脚本，其中，扩展函数的入参丰富程度决定了扩展能力的范围，尽量要将要处理的当前字段值及其元数据，甚至当前处理的行数据及元数据，都要做为入参传递，从而扩展函数能支持大部分的数据检查和处理功能。