周总结（第五周）

1：s3数据下载
2：了解了咱们部门需要做什么:
对外：
1:优惠券（提供数据）
2:短信的push（用户清单）
3:智能复习（需要一些算法支撑）
4:规划师（管理后台，学习顾问）
对内：
象数平台
1:即时查询（sql）
2:调度系统（日常工作，整体监控）
3:权限系统（上周开会时讨论的涉及到一些表的权限和审批权限）
4:元数据管理（元数据管理系统所需要收集的信息）
5:指标管理（表的统一指标）
6:血缘分析（一个表与其他相关表的关联）
7:API接口管理（编写文档，修改同步，不断更新，回归测试）

3：看一些元数据管理的知识
元数据管理系统
所需要收集的信息
数据表结构信息：
意义：需要集中管理，满足系统自身的功能运转而设计
比如我想知道表结构的历史变迁记录，周边上下游的其它业务系统往往也不适合直接从该系统中获取这类信息，因为如果那样做的话，系统的安全性和相互直接的依赖耦合往往都会是个问题。所以，收集表结构信息，不光是简单的信息汇总，更重要的是从平台管理和业务需求的角度出发来考虑，如何整理和归纳数据，方便系统集成，实现最终的业务价值。

数据的存储空间，读写记录，权限归属和其它各类统计信息：
意义：这些信息对于系统和业务的优化，数据的安全管控，问题的排查等工作来说，都是重要信息
对数据和表进行操作的信息对于这类审计类信息的采集和管理，通常具体的底层数据存储管理组件自身的功能也无法直接满足我们的需求，需要通过专门的元数据管理平台中统一进行采集，加工和管理。

血缘关系信息：
意义：
如果一个数据有问题，你可以根据血缘关系往上游排查，看看到底在哪个环节出了问题。此外我们也可以通过数据的血缘关系，建立起生产这些数据的任务之间的依赖关系，进而辅助调度系统的工作调度，或者用来判断一个失败或错误的任务可能对哪些下游数据造成影响等等。

业务属性信息：
意义：
比如，这张表干什么用的，各个字段的具体统计方式，业务描述，业务标签，脚本逻辑的历史变迁记录，变迁原因等等，此外，你也可能会关心对应的数据表格是由谁负责开发的，具体数据的业务部门归属等等。

今天的话练习了即时查询的sql语句，正在看调度系统的脚本和sql语句