一、数据治理
- 管控域:组织、制度、流程、绩效
- 过程域:分析、设计、实施、评估
- 价值域:数据价值、数据共享、数据变现
- 治理域:标准体系、质量、安全
- 技术域:元数据管理、数据指标管理、主数据管理、数据模型管理、数据质量管理、数据安全管理
二、数据中台
- 数据汇聚:异构数据源、离线同步、实时接入,可视化配置
- 数据开发:离线开发、实时开发、算法开发,智能调度、智能运维、监控告警
- 数据体系:贴源数据(ODS)、统一数仓、标签数据、应用数据
- 数据资产管理:元数据、数据质量、数据血缘、数据安全
- 数据服务体系:服务授权、调用管理、数据集市AIP网关
三、架构
- 数据采集中间件:filebeat、flume、kafka、datax、airflow
- ODS:hadoop、hbase、Tbase、es
- DWD:hive、impala、phoinex、spark
- DWS:flink、spark、es
- ADS:规则引擎、模型管理、业务平台、血缘应用、数据采集,BI分析工具、元数据管理、标签管理(存储介质:hbase、hive、es)
•标签分类: 统计类、规则类、挖掘类、流式计算类、组合类、图类
四、电商应用场景
- 推荐系统:千人千面
- 营销系统:支付信息统计,复购率
- 用户维度:沉默用户、忠诚用户、本周回流用户
- 用户行为:UV,PV,PVUV,PR,跳转率、转出率
五、风控场景
- 反欺诈
- 反漏税(假发票、虚开、假发票机、发票识别)
- 反洗钱
六、云原生弹性服务平台
- kubernetes
- CICD:Tekton
- 私库:harbor