Taerge0110的博客

使用Python 实现对数据库表的监控告警功能, 并将告警信息通过钉钉机器人发送到钉钉群实现DataWorks中数据质量的基本功能, 当然 DW的数据质量的规则类型很多, 用起来比较方便, 这里目前简单实现了其中三个规则类型的功能, 仅供参考, 欢迎交流;初次使用Python, 请多指教使用工具: MaxCompute代码可以直接copy, 可开箱即用(部分内容, 如分区层级, 可根据你自己公司的数据表进行调整); 规则内容如有不懂, 欢迎咨询讨论;

填写分区表达式, 可以选择手动配置规则/自动落标规则, 然后选择模版规则自定义规则。[修改规则名称] -> [填写描述信息] -> [修改高级属性] -> 下一步。进入数据质量, 选择规则管理 -> 按模版配置 -> 选择模版。添加表 -> 填写分区表达式 -> 生成规则。规则列表 -> 修改规则 -> 修改信息 等。在操作界面,可以修改规则, 填充订阅信息等。配置完成之后,可以在规则列表查到相应规则。关联调度节点 -> 试跑 -> 保存。创建规则, 模版规则/自定义规则。点击 -> 查看历史结果。