atlas 元数据管理系统
功能
技术元数据的自动摄取
靠在大数据组件上配置钩子hook
自动摄取到的元数据都是技术元数据
血缘回溯
血缘含义
就是一个数据实体(hive表、字段)它的来源及它的后代
血缘关系的获取
钩子获取insert语句后解析得到血缘关系
atlas能追踪到表级别的血缘,还能追踪到字段级别的血缘
2.dolphin scheduler 调度系统(海豚调度器)
角色:
MasterServer 主要用于监听worker节点,任务划分
WorkerServer 主要用于执行任务
特点 :
简单易用 高可靠 支持多种任务 sql shells spark mr 等等