Java Client Of Apache Atlas

GuessBUG

已于 2022-04-02 13:37:54 修改

阅读量1.3k

点赞数

分类专栏： Java 元数据文章标签： java 后端 big data

于 2021-08-14 18:47:55 首次发布

本文链接：https://blog.csdn.net/GuessBUG/article/details/119702462

版权

Java 同时被 2 个专栏收录

10 篇文章

订阅专栏

元数据

3 篇文章

订阅专栏

一、问题描述

公司数据中台要重构，一共由两个理念，“元数据驱动”和“可插拔式部署服务”。本文侧重点是“元数据驱动”，技术选型使用Apache Atlas（以下简称为Atlas）元数据治理平台。
注意：本文非Atlas教学，官方文档戳这里元数据概念戳这里

二、解决思路

目前只是把Atlas当做一个元数据存储的平台，用于存储和展示相关元数据信息；数据中台元数据平台页面需要对接业务服务，该服务需要业务封装Atlas，与Atlas进行数据交互。经过一番查阅学习后，记录一下Atlas Java Client的使用。

三、解决方案

3.1 准备工作

3.1.1 引入Atlas pom依赖

<!-- Apache Atlas -->
<dependency>
     <groupId>org.apache.atlas</groupId>
     <artifactId>atlas-client-common</artifactId>
     <version>2.1.0</version>
 </dependency>
 <dependency>
     <groupId>org.apache.atlas</groupId>
     <artifactId>atlas-common</artifactId>
     <version>2.1.0</version>
 </dependency>
 <!-- Apache Atlas Client  Version1 -->
 <dependency>
     <groupId>org.apache.atlas</groupId>
     <artifactId>atlas-client-v1</artifactId>
     <version>2.1.0</version>
 </dependency>
<!-- Apache Atlas Client  Version2 -->
 <dependency>
     <groupId>org.apache.atlas</groupId>
     <artifactId>atlas-client-v2</artifactId>
     <version>2.1.0</version>
 </dependency>

说明：
1）client-v1和client-v2个人感觉差距不是特别明显，但是v1会提示已过时，而且v2有些api更友好，二选一即可
2）注意自己安装的Atlas版本和pom的版本

3.1.2 新建Atlas配置文件

在resources目录下新建一个atlas-application.properties文件，内容如下：
在这里插入图片描述

atlas.hook.demo.kafka.retries=1
atlas.kafka.auto.commit.interval.ms=1000
atlas.kafka.bootstrap.servers=kafkaIp:kafkaPort
atlas.kafka.hook.group.id=atlas
atlas.kafka.zookeeper.connect=zookeeperIp:zookeeperPort
atlas.kafka.zookeeper.connection.timeout.ms=2000
atlas.kafka.zookeeper.session.timeout.ms=4000
atlas.kafka.zookeeper.sync.time.ms=200
atlas.rest.address=atlasIp:atlasPort

说明：
1）配置文件名称和格式固定为atlas-application.properties
2）配置属性不知道有什么用，但是必须要有这个文件

3.2 代码开发

3.2.1 Atlas Client 初始化

在这里插入图片描述
说明：
1）AtlasClient只能手动初始化，不能使用DI；
2）AtlasClient构造函数第一个参数为Atlas的ip和port，第二个参数为登陆用户的账号密码；

3.2.2 查询API测试

3.2.2.1 clientV1全查type

 @PostMapping("/listTypeV1")
 @ApiOperation(value = "listTypeV1", notes = "测试TypeV1")
 public Result<?> listTypeV1() throws AtlasServiceException {
     List<String> listTypes = atlasClient.listTypes();
     System.out.println("all type size -> method :"+listTypes.size());

     JSONObject jsonObject = atlasClient.callAPI(AtlasClient.API_V1.LIST_TYPES, JSONObject.class, null);
     System.out.println("all type size -> callAPI :"+jsonObject.getString("count"));

     return ResultGenerator.genSuccessResult(listTypes.size());
 }

在这里插入图片描述

3.2.2.1 clientV2查询

@PostMapping("/listTypeV2")
@ApiOperation(value = "listTypeV2", notes = "测试TypeV2")
 public Result<?> listTypeV2() throws AtlasServiceException {
     MultivaluedMapImpl paramMap = new MultivaluedMapImpl();
     paramMap.add("type","entity");

     SearchFilter searchFilter = new SearchFilter(paramMap);
     AtlasTypesDef allTypeDefs = atlasClientV2.getAllTypeDefs(searchFilter);

     JSONObject jsonObject = atlasClientV2.callAPI(AtlasClientV2.API_V2.GET_ALL_TYPE_DEFS, JSONObject.class, paramMap);
     return ResultGenerator.genSuccessResult();
 }

结果比对：
在这里插入图片描述

说明：
1）目前来说，clientV2相关api处理更灵活一些，比如入参合并、返回值处理等；
2）client增删改等方法，都可以用callAPI代替，因为相应方法底层调用的就是callAPI；

3.3 非Java Client方式调用

这种方式可以不需要pom依赖，只需要通HttpClient请求即可，但是稍微复杂一点，不建议。大致概括下：
1）需要携带登陆后的token请求接口，否则认证不通过，这个token需要调用登陆接口获取
以admin UI页面为例：
①登录时，会定义好相关的token信息
在这里插入图片描述
②后续请求都会携带Cookie，相当于token

③token格式规则，目前没有深究。本来的准备通过REST API和Atlas交互的，但是后来发现有Java Client就没深究了，有兴趣的大佬们可以试一试是否任意格式都可，还是为某种固定规则
④不建议采用非Java Client的方式是因为，需要考虑token的过期处理情况等
2）通过HttpClient调用REST API，携带相关参数；