#达梦DM8数据库—数据中台系统学习开发记录(二)
数据中台系统
一、数据治理思路分析
要求:
数据治理模块负责制定治理规则,并按规则治理数据。
必做治理规则:
(1)“身份证号治理”,客户身份证必须符合规范。
(2)物流单规则,物流信息里客户必须在客户数据中。
(3)治理完成数据和异常数据分开存放,异常数据提供处理界面,并能重新治理。
1.身份证号治理
初步分析:属于数据预处理的一部分,要求数据身份证号符合规范,避免数据不一致
身份证编码规则如下:
(1)根据〖 中华人民共和国国家标准 GB11643-1999〗中有关公民身份号码的规定,公民身份号码是特征组合码,由十七位数字本体码和一位数字校验码组成。
(2)顺序码(身份证第十五位到十七位)是县级 公安机关 所辖 派出所 的分配码,每个派出所分配码为10个连续号码,例如"000-009"或"060-069",
(3)其中单数为男性分配码,双数为女性分配码,如遇同年同月同日有两人以上时顺延第二、第三、第四、第五个分配码。如:005的就是个男性,而且和他同年月日生的男性至少有两个,他们的后四位是001和003。
(4)分配顺序码中"999、998、997、996"四个顺序号分别为男女性百岁以上老人专用的特定编号。
2.物流单规则
初步分析:物流面单上的客户信息必须存在客户数据中,要去查询数据库
3.数据脱敏
4.补充要求
要可以处理脏数据和不规范数据
动态设置数据治理规则
能够产生质量数据,把不符合要求的数据 (异常数据) 输出到质量库中,给用户一个接口可以查询或者修正。
二、思路的实现工具
初步设想
- Spark
通过刚学习的Spark工具,利用其丰富的操作算子进行处理,由于使用了Spark SQL和Spark Streaming能够很好的对数据进行操作处理,虽然在数据处理规模上不如MapReduce,但是利用Spark可以很好的满足对临时输入的新数据进行流处理的操作。 - MySQL或达梦DM8
使用给定的数据,存储到MySQL中或者达梦数据库中。 - Docker
利用Docker将所有所需依赖及环境都打包做一个镜像,上传到平台上以便于使用。