Atlas
文章平均质量分 91
强子no2
这个作者很懒,什么都没留下…
展开
-
Apache Atlas2.0 第七节 搜索功能
项目中使用到的东西,其他的基本没有啥研究1) 全局搜索:excludeDeletedEntities 这个属性一定加上,不然会把你删除的数据也给查询熟练,http://ip:port/api/atlas/v2/search/fulltext?query=test_atlas&excludeDeletedEntities=true2)唯一搜索:这个功能会有意想不到的收获。一般情况...原创 2019-10-17 16:54:43 · 1450 阅读 · 1 评论 -
Apache Atlas2.0 第六节 血源关系
1 )首先看一个效果图2 )由于使用hdp 进行Atlas集成,所以下面使用的是0.7版本的,亲自验证过的流程,先上一段json, 每两个Table (entity)之间需要一个Process 进行连接,形成一条血缘关系图。首末两端使用 inputs ,outputs进行entity 关联{ "entity":{ "typeName":"Process",...原创 2019-10-17 16:26:24 · 6764 阅读 · 5 评论 -
Apache Atlas2.0 第一节 构建与安装
1 准备工作: 本文档以最新版本为例(2.0) 下载安装:jdk-8u211-linux-x64.tar.gz 地址:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html(千万记住不要使用Linux 自带的jdk,安装过程中有大坑) ...原创 2019-04-25 17:54:48 · 7874 阅读 · 24 评论 -
Apache Atlas2.0 第二节 架构理解
Atlas 是一个可伸缩且功能丰富的数据管理系统,深度集成了 Hadoop 大数据组件。简单理解就是一个跟 Hadoop 关系紧密的,可以用来做元数据管理的一个系统,整个结构 图如下所示:核心组件CoreType System: Atlas 允许用户为他们想要管理的元数据对象定义一个模型。该模型由称为 "类型" 的定义组成。"类型" 的 实例被称为 "实体" ...原创 2019-07-11 12:06:17 · 11442 阅读 · 2 评论 -
Apache Atlas2.0 第四节 执行流程
首先从官网查了一下支持的数据源:Hive sqoop Falcon Storm普及一下Apache Falcon是一个开源的hadoop数据生命周期管理框架, 它提供了数据源 (Feed) 的管理服务,如生命周期管理,备份,存档到云等,通过Web UI可以很容易地配置这些预定义的策略, 能够大大简化hadoop集群的数据流管理安装之前需要手动配置 atlas-application.pr...原创 2019-07-11 12:08:08 · 2082 阅读 · 5 评论 -
Apache Atlas2.0 第五节 集成RDBMS
查找了许多资料,发现对RDBMS支持很少,貌似需要写Rdbms的bridge,这里只介绍通过API方式,将mysql 导入到Atlas,血缘关系,继续改进请求方式:Post请求路径:http://localhost:21000/api/atlas/v2/entity请求验证方式:BaseAuth admin/admin建立数据库实例://3cd3adc7-67cf-4563...原创 2019-07-18 17:35:43 · 5008 阅读 · 6 评论