Atlas
wangpei1949
仰望星空,脚踏实地。以梦为马,不负韶华!
展开
-
Apache Atlas HA部署
概述Apache Atlas是开源的元数据治理框架,可以为Hive、HBase、Kafka等提供元数据管理功能,如:数据分类查看和更新Lineage元数据搜索与Apache Ranger集成控制权限注意:为便于安装配置,以及后续的管理维护,建议用HDP Ambari等工具来部署Atlas。这里用HDP-2.6.4 Ambari部署Atlas 0.8.0元数据治理服务。架构注意...原创 2019-02-16 23:16:49 · 2195 阅读 · 0 评论 -
Apache Atlas管理Hive元数据
部署好Atlas服务后,重点是对Atlas的使用,这里对Atlas管理Hive元数据做简单总结。Hive元数据导入全量导入/usr/hdp/2.6.4.0-91/atlas/hook-bin/import-hive.sh通过WebUI可以搜索到如下Hive数据库:通过WebUI可以搜索到如下Hive表:注意:dim_channel(维度表-渠道维),dim_date(维度表-日期...原创 2019-02-17 20:41:49 · 10218 阅读 · 28 评论 -
Apache Atlas类型系统与Rest API
概述类型系统Type System是Atlas最核心的组件之一,用户可以通过类型系统对数据资产进行分类、定义,然后用Ingest/Export组件添加元数据或输出元数据变化。对外,其他系统可以通过REST API或Kafka Message与Atlas进行集成。这里,总结Atlas 类型系统与Rest API。Atlas 类型系统TypeType(类型)在Atlas中代表了一类数据,如h...原创 2019-02-23 14:21:08 · 6907 阅读 · 6 评论