Atlas变更搜索引擎

最新推荐文章于 2024-08-29 05:00:00 发布
最新推荐文章于 2024-08-29 05:00:00 发布
阅读量1.2k 收藏
点赞数 1
分类专栏： 大数据 Apache Atlas 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fqjia2008/article/details/120171874
版权

文章目录

一、背景

Apache Atlas是数据治理的一个重要组件，可以自动采集加工，生成元数据及血缘。
Apache Atlas本质上是基于JanusGraph图数据库封装起来的一个服务，在生产环境下，JanusGraph一般需要依赖外部的存储引擎(HBase/Cassandra/Bigtable/BerkeleyDB)及搜索引擎(Elasticsearch/Solr/Lucene)，来提高服务稳定性及性能。
JanusGraph配置与一般服务有所不同，它的配置有五种类型：

配置类型作用范围
FIXED固定配置。一旦实例启动后，就会将配置保存到存储引擎中，并且无法更改
GLOBAL全局配置。一旦实例启动后，就会将配置保存到存储引擎中，但可以通过管理接口修改，并且应用到所有实例
GLOBAL_OFFLINE跟GLOBAL配置类似，但修改时需要保留一个实例，停止其他所有实例。修改完成后再重启所有实例
MASKABLE可掩盖的配置。本地配置可以覆盖全局配置。若本地没有配置，则使用全局配置
LOCAL本地配置只作用于单个实例。当实例启动时，每次都会从配置文件中读取，并应用到实例

通过Ambari安装Atlas时，默认是将Solr作为搜索引擎的，而搜索引擎的配置属于GLOBAL_OFFLINE类型。所以当我们启动Atlas服务后，若想修改搜索引擎，不是一件容易事。
本文提供的方法只适用于对于元数据准确性要求不是特别严格的场景，因为需要删库重建。对应的服务版本为：

  • Apache Atlas： 2.1.0
  • JanusGraph：0.5.1
  • ElasticSearch：6.8.4

二、尝试修改配置（失败）

一开始准备按照JanusGraph的官方文档，通过管理接口去修改配置，但发现Atlas使用的JanusGraph是Embedded模式，此模式下的JanusGraph没有提供独立的服务接口，因此无法通过管理接口修改GLOBAL_OFFLINE配置项：搜索引擎index.search.backend。
参考文档：How to connect to embedded inmemory Janusgraph via Gremlin Console
在这里插入图片描述

虽然没法通过管理接口修改搜索引擎配置项index.search.backend，但其他的GLOBAL_OFFLINE配置项还是可以通过其他方式修改的。不同配置项应该是有区别的，所以有些可以修改。

  • 下载并解压JanusGraph-0.5.1原生安装包
    在官网下载 janusgraph-0.5.1.zip，上传到Atlas服务器并解压。本文解压到/data/Install/JanusGraphInstall目录下
/data/Install/JanusGraphInstall/janusgraph-0.5.1/
  • 设置环境变量
# `JanusGraph`图数据库也是基于`Gremlin`引擎开发的，所以开启JVM的DEBUG级别是设置环境变量GREMLIN_LOG_LEVEL
export GREMLIN_LOG_LEVEL=DEBUG
# 开启后，会打印 classpath，用于查看jar包加载过程
export SCRIPT_DEBUG=y
# 手工设置hadoop安装目录，避免日志中报错
export HADOOP_HOME=/usr/hdp/3.1.0.0-78/hadoop
# 关键！手工设置hadoop、hbase的配置目录，JanusGraph会自动从classpath中读取hbase配置，否则连接hbase时会因为配置不正确而失败
export CLASSPATH=/etc/hadoop/conf:/etc/hbase/conf
  • 设置引擎配置
    在conf目录下，JanusGraph提供了一个配置文件janusgraph-hbase-solr.properties，里面包含了最基本的配置项，需要修改为Atlas对应的引擎配置
# HBase配置
storage.hbase.table=atlas_janus
storage.hostname=hdtest01.dev.com,hdtest02.dev.com,hdtest03.dev.com

# Solr配置
index.search.solr.mode=cloud
index.search.solr.zookeeper-url=hdtest01.dev.com:2181/infra-solr,hdtest02.dev.com:2181/infra-solr,hdtest03.dev.com:2181/infra-solr

修改logback.xml全局日志级别

  <root level="DEBUG">
    <appender-ref ref="STDOUT" />
  </root>
  • 启动客户端
# 这是客户端启动命令。启动过程中会打印日志
$ bin/gremlin.sh 

         \,,,/
         (o o)
-----oOOo-(3)-oOOo-----
plugin activated: tinkerpop.hadoop
plugin activated: tinkerpop.spark
plugin activated: tinkerpop.utilities
plugin activated: janusgraph.imports
gremlin>
  • 连接引擎

虽然Atlas没对外暴露JanusGraph的服务接口，但可以通过gremlin客户端，直连它的存储及搜索引擎，查询/修改数据。

gremlin> graph = JanusGraphFactory.open("/data/Install/JanusGraphInstall/janusgraph-0.5.1/conf/janusgraph-hbase-solr.properties")
  • 打开管理接口
# 打开管理接口
gremlin> mgmt = graph.openManagement()
# 获取搜索引擎配置
gremlin> mgmt.get('index.search.backend')
# 获取缓存时长配置
gremlin> mgmt.get('cache.db-cache-time')
  • 修改配置

除了正在运行中的服务，首先要把非活跃的实例全部强制下线，因为Embedded JanusGraph下线时不会自动销毁实例注册信息，这算是个issue吧。
由于修改GLOBAL_OFFLINE配置时，只能保留一个实例，所以要全部强制下线。

# 重新打开管理接口，避免超时关闭
gremlin> mgmt = graph.openManagement()
# 获取所有JanusGraph(Atlas)实例
gremlin> open = mgmt.getOpenInstances()
# 关闭非活跃实例
gremlin> for (String inst : open) { if (!inst.endsWith("(current)")) mgmt.forceCloseInstance(inst) }
# 关键！要提交变更，才会真正修改配置
gremlin> mgmt.commit()

修改GLOBAL_OFFLINE配置

# 重新打开管理接口，commit会自动关闭掉
gremlin> mgmt = graph.openManagement()
# 修改缓存时间
gremlin> mgmt.set('cache.db-cache-time', 1800000)
# 尝试修改搜索引擎，但实际并不起作用
gremlin> mgmt.set('index.search.backend', 'elasticsearch')
# 关键！要提交变更，才会真正修改配置
gremlin> mgmt.commit()

重新查看配置，发现只有cache.db-cache-time被修改成功，index.search.backend还是Solr。按照官方文档的说法，如果是连接到JanusGraph实例的话，此时唯一运行的实例应该会自动重启，但Atlas并没有自动重启，应该是JanusGraph为Embedded模式的原因。
在这里插入图片描述

三、删库重建

修改配置的方式暂时行不通，只好选择删库重建。这是由于线上Atlas还没被大规模使用，只是作为元数据服务查询，删库重建对线上服务影响不大，其余场景请谨慎评估后再操作。

3.1 删除HBase表

请谨慎操作！不要误删！

# 重新登录Kerberos
$ kinit -kt your.keytab username
# hbase shell
hbase(main)> disable 'atlas_janus'
hbase(main)> drop 'atlas_janus'

3.2 修改Atlas配置

# Graph Search Index
atlas.graph.index.search.backend=elasticsearch
# ElasticSearch support (Tech Preview)
atlas.graph.index.search.hostname=your_es_host:9200
atlas.graph.index.search.elasticsearch.client-only=true
# Authentication type to be used for HTTP(S) access.
atlas.graph.index.search.elasticsearch.http.auth.type=basic
# Username for HTTP(S) authentication.
atlas.graph.index.search.elasticsearch.http.auth.basic.username=your_name
# Password for HTTP(S) authentication.
atlas.graph.index.search.elasticsearch.http.auth.basic.password=your_pwd

3.3 修改Atlas的ES依赖jar包

替换jar包：
$ATLAS_HOME_DIR/server/webapp/atlas/WEB-INF/lib/elasticsearch-rest-client-5.6.4.jar
->
$ATLAS_HOME_DIR/server/webapp/atlas/WEB-INF/lib/elasticsearch-rest-client-7.6.1.jar

删除jar包：
$ATLAS_HOME_DIR/server/webapp/atlas/WEB-INF/lib/elasticsearch-rest-high-level-client-5.6.4.jar

原因：
atlas的es版本是5.6.4
在这里插入图片描述

但JanusGraph用的es版本是7.6.1
在这里插入图片描述

会造成初始化ES客户端时出错：

java.lang.IllegalArgumentException: Could not instantiate implementation: org.janusgraph.diskstorage.es.ElasticSearchIndex
	at org.janusgraph.util.system.ConfigurationUtil.instantiate(ConfigurationUtil.java:64)
	at org.janusgraph.diskstorage.Backend.getImplementationClass(Backend.java:440)
	at org.janusgraph.diskstorage.Backend.getIndexes(Backend.java:427)
	at org.janusgraph.diskstorage.Backend.<init>(Backend.java:150)
	at org.janusgraph.graphdb.configuration.GraphDatabaseConfiguration.getBackend(GraphDatabaseConfiguration.java:1359)
	at org.janusgraph.graphdb.database.StandardJanusGraph.<init>(StandardJanusGraph.java:146)
	at org.janusgraph.core.JanusGraphFactory.open(JanusGraphFactory.java:161)
	at org.janusgraph.core.JanusGraphFactory.open(JanusGraphFactory.java:132)
	at org.janusgraph.core.JanusGraphFactory.open(JanusGraphFactory.java:112)
	at org.apache.atlas.repository.graphdb.janus.AtlasJanusGraphDatabase.initJanusGraph(AtlasJanusGraphDatabase.java:182)
	at org.apache.atlas.repository.graphdb.janus.AtlasJanusGraphDatabase.getGraphInstance(AtlasJanusGraphDatabase.java:169)
	at org.apache.atlas.repository.graphdb.janus.AtlasJanusGraphDatabase.getGraph(AtlasJanusGraphDatabase.java:276)
	at org.apache.atlas.repository.graph.AtlasGraphProvider.getGraphInstance(AtlasGraphProvider.java:52)
	at org.apache.atlas.repository.graph.AtlasGraphProvider.retry(AtlasGraphProvider.java:114)
	at org.apache.atlas.repository.graph.AtlasGraphProvider.get(AtlasGraphProvider.java:102)
	at org.apache.atlas.repository.graph.AtlasGraphProvider$$EnhancerBySpringCGLIB$$7ed677f6.CGLIB$get$0(<generated>)
	at org.apache.atlas.repository.graph.AtlasGraphProvider$$EnhancerBySpringCGLIB$$7ed677f6$$FastClassBySpringCGLIB$$f588a8aa.invoke(<generated>)
Caused by: java.lang.reflect.InvocationTargetException
	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
	at org.janusgraph.util.system.ConfigurationUtil.instantiate(ConfigurationUtil.java:58)
Caused by: java.lang.NoClassDefFoundError: Could not initialize class org.janusgraph.diskstorage.es.rest.RestElasticSearchClient
	at org.janusgraph.diskstorage.es.rest.RestClientSetup.getElasticSearchClient(RestClientSetup.java:107)
	at org.janusgraph.diskstorage.es.rest.RestClientSetup.connect(RestClientSetup.java:75)
	at org.janusgraph.diskstorage.es.ElasticSearchSetup$1.connect(ElasticSearchSetup.java:51)
	at org.janusgraph.diskstorage.es.ElasticSearchIndex.interfaceConfiguration(ElasticSearchIndex.java:437)
	at org.janusgraph.diskstorage.es.ElasticSearchIndex.<init>(ElasticSearchIndex.java:324)

根本原因在于Atlas连接ES时，调用的是JanusGraphES客户端RestElasticSearchClient，需要初始化一个对象Request，这个类的构造函数在es-5.6.4中要求提供4个参数，但在es-7.6.1中只提供了2个参数

private static final Request INFO_REQUEST = new Request(REQUEST_TYPE_GET, REQUEST_SEPARATOR);

在这里插入图片描述

3.4 重启Atlas

bin/atlas_stop.py
bin/atlas_start.py

四、开放ES索引权限

如果在日志发现连接ES报错：401 - 未授权

org.elasticsearch.client.ResponseException: method [GET], host [http://mpes.sit.com:9200], URI [/], status line [HTTP/1.1 401 Unauthorized]

需要联系ES管理员，开通以下接口的权限

  1. 根接口 / ，用于获取es的版本
  2. /_cluster/health，用于检测ES服务可用性
  3. /_scripts/janusgraph-add, /_scripts/janusgraph-del 自动增删权限
  4. /janusgraph_edge_index, /janusgraph_vertex_index, /janusgraph_fulltext_index 索引
  5. /_bulk 批量接口
  6. /_aliases 别名接口

五、修改ES索引配置

curl --location --request PUT 'your_es_host:9200/janusgraph_vertex_index/_mapping/vertex_index' \
--header 'Authorization: Basic your_basic_auth' \
--header 'Content-Type: application/json' \
--data-raw '{
  "properties": {
    "Referenceable": {
      "properties": {
        "qualifiedName": {
          "type": "text",
          "fielddata": true,
          "copy_to": [
            "all"
          ]
        }
      }
    }
  }
}'

原因：
当调用Atlas REST API搜索Hive表名，若按照qualifiedName进行排序，ES会返回错误：

Caused by: org.elasticsearch.client.ResponseException: method [POST], host [http://mpes.sit.com:9200], URI [/janusgraph_vertex_index/_search], status line [HTTP/1.1 400 Bad Request]
{"error":{"root_cause":[{"type":"illegal_argument_exception","reason":"Fielddata is disabled on text fields by default. Set fielddata=true on [Referenceable.qualifiedName] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory. Alternatively use a keyword field instead."}],"type":"search_phase_execution_exception","reason":"all shards failed","phase":"query","grouped":true,"failed_shards":[{"shard":0,"index":"janusgraph_vertex_index","node":"5Hmgs997TE-38add2XDa0g","reason":{"type":"illegal_argument_exception","reason":"Fielddata is disabled on text fields by default. Set fielddata=true on [Referenceable.qualifiedName] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory. Alternatively use a keyword field instead."}}],"caused_by":{"type":"illegal_argument_exception","reason":"Fielddata is disabled on text fields by default. Set fielddata=true on [Referenceable.qualifiedName] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory. Alternatively use a keyword field instead.","caused_by":{"type":"illegal_argument_exception","reason":"Fielddata is disabled on text fields by default. Set fielddata=true on [Referenceable.qualifiedName] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory. Alternatively use a keyword field instead."}}},"status":400}

原因在于es默认关闭了fielddata，不支持将整个文档内容作为一个完整对象进行聚合操作，比如排序。

chenhjia
关注
专栏目录
Ambari部署Atlas
Java框架、并发编程、分布式、微服务、Redis、HarmonyOS、中间件等技术
07-22 1483
选择Atlas服务 选择Atlas 选择多节点部署HA集群 分配从站和客户端，选择客户端全节点安装 Next ADVANCED Advaced atlas-env 设置管理员密码为admin123，管理员用户默认为admin： 这里是HBase主堆大小没达到最小设置值，可以不用改，Proceed Anyway仍要继续 Atlas is configured to use the HBase installed in this cluster. If y.
Atlas--概述
loftiest的博客
04-19 2138
简介 Apache Atlas为大数据集群提供开放式元数据管理和治理功能，用以构建其数据资产目录，对这些资产进行分类和管理，形成数据字典。并且给数据分析师和数据治理团队，提供围绕这些数据资产的协作功能。 数据字典 表与表之间的血缘依赖 字段与字段之间的血缘关系 架构原理 Metadata Source 支持的原数据来源：HBase、Hive、Sqoop、Storm、Kafka Admin UI 该组件是一个基于Web的应用程序，允许数据管理员和数据科学家发现和注释元数据。这里最重要的是搜索界面和类似S
Apache Atlas2.0 第七节 搜索功能
强子的专栏
10-17 1455
项目中使用到的东西，其他的基本没有啥研究 1） 全局搜索：excludeDeletedEntities 这个属性一定加上，不然会把你删除的数据也给查询熟练， http://ip:port/api/atlas/v2/search/fulltext?query=test_atlas&excludeDeletedEntities=true 2）唯一搜索：这个功能会有意想不到的收获。一般情况...
Apache Atlas切换ES
一名假人的博客
11-16 2515
Apache Atlas切换ES 注意： 本篇文章是根据《Atlas变更搜索引擎》写的，只是对内部可行的方案进行了补全，没有提供新的思路。如有需要可以亲自去看看官方文档和这篇博客。 一、环境清单 atlas 2.1.0环境。（基于《CentOS7搭建Atlas》文章进行搭建） ElasticSearch-6.8.4。 Hbase2.3.3。（可以使用atlas搭建的时候hbase,但是需要删除和solr相关的数据表） 二、步骤 所有步骤在 /software 目录下进行 1. 准备ES环境 上传E
元数据工具之Atlas
最新发布
youziguo的专栏
08-29 1963
Apache Atlas 是一个开源的数据治理和元数据管理框架，旨在帮助组织管理和发现其数据资产。Atlas 提供了数据分类、数据血缘追踪、元数据搜索和可视化、数据治理等功能，是大数据生态系统中元数据管理的重要组成部分。以下是对 Apache Atlas 的详细介绍。
Atlas快速入门
fx67ll的博客
04-26 4034
帮助大家更好的快速上手使用Atlas
Atlas血缘分析在数据仓库中的实战案例
大数据星球-浪尖
04-03 3607
目录一、应用1.1 执行SQL1.2 手写的数据地图1.3 atlas血缘分析1.4 打标签1.4.1 CLASSIFICATION分类1.4.2 GLOSSARY词汇表1.5 字段搜索1.5.1查看表字段1.5.2 追踪字段关系二、安装2.1 编译安装2.1.1 下载源码2.1.2 组件修改版本2.1.3 修改报错代码2.1.4 编译2.1.5 编译包2.1.6 复制包...
Apache Atlas2.1.0本地部署
zyy_2018的博客
09-28 2013
-Datlas.home=F:\atlas_deploy -Datlas.conf=F:\atlas_deploy\conf -Datlas.log.dir=F:\atlas_deploy\logs -Dlog4j.configuration=atlas-log4j.xml
Atlas源码解读（1）图数据库JanusGraph
驰骋翱翔
09-04 3786
Aparche Atlas是Hadoop数据治理与元数据框架，提供了高效数据查询与分类系统，同时支持数据审计与数据血缘关系的建立。小编认为随大数据发展，数据结构与类型将越来越复杂，元数据治理与数据关系建立将是完成数据挖掘，实现人工智能的重要前提。 Atlas收集大数据组件元数据通过集成构件kafka传输至底层数据处理构件JanusGraph，J...
ElasticSearch学习-- 索引操作和查询操作
CelineT的博客
05-27 4670
elastic search查询相关，must、must_not、filter、should、term、terms、bool、组合查询，索引创建等
纯 MongoDB 实现中文全文搜索
MongoDB中文社区
01-06 1716
本文来自获得《2021MongoDB技术实践与应用案例征集活动》一等奖作品 摘要 MongoDB在2.4版中引入全文索引后几经迭代更新已经比较完美地支持以空格分隔的西语，但一直不支持中日韩等语言，社区版用户不得不通过挂接ElasticSearch等支持中文全文搜索的数据库来实现业务需求，由此引入了许多业务限制、安全问题、性能问题和技术复杂性。作者独辟蹊径，基于纯MongoDB社区版（v4.x和v5.0）实现中文全文搜索，在接近四千万个记录的商品表搜索商品名，检索时间在200ms以内，并使用C..
Assignment_OSOS：一种Node.Js方法，用于将MongoDB Atlas上的数据索引到Elastic Search并根据给定的输入查找最近的餐馆
03-03
Assignment_OSOS：一种Node.Js方法，用于将MongoDB Atlas上的数据索引到Elastic Search并根据给定的输入查找最近的餐馆
Atlas使用过程中遇到的问题的总结
weixin_30667649的博客
08-01 753
Atlas是在ASP.NET下实现AJAX 程序的首选，至少我是这么认为。但是由于该控件还处在逐步完善过程中，所以肯定会有一些问题。以下是我使用过程中遇到的问题的总结和解决办法（更新.........）。1. 浏览器出现 Unknown error可能原因是页面中包括的脚本标记中有下面写法： <script language='javascript'></script>...
Atlas的使用案例
weixin_42687074的博客
12-14 4173
前文：通过使用Atlas绑定Hive，可以跨项目在整个集群上看到所有的数据链路，以备下线数据资产时，能够预防下游数据产出故障，或数据质量出现问题时快速排查及定位。 目录 一、应用 1.1 执行SQL 1.2 手写的数据地图 1.3 atlas血缘分析 1.4 打标签 1.4.1 CLASSIFICATION分类 1.4.2 GLOSSARY词汇表 1.5 字段搜索 1.5.1查看表字段 1.5.2 追踪字段关系 二、安装 2.1 编译安装 2.1.1 下载源码...
Atlas几种常见故障解决（不定期更新）
weixin_34242509的博客
03-04 2585
1）使用atlas却发现“读库闲置，框架还是去主库读写数据”配置完atlas之后，发现使用jdbc框架的话，读库和写库各司其职，但是使用mybatis框架之后，就发现框架的读写都去了主库，把读库放置一边，那么这种情况是因为“有事务存在的话，atlas就会强制走主库”，遇到这种情况就检查一下是否有事务的存在，比如@Transactional，如果要解决的话，就加上“@Trans...
大数据组件安装步骤，Atlas本地编译以及生产环境部署
Do_BUG的博客
07-13 1487
hadoop\hbase\hive\kafka\zookeeper\atlas安装,atlas本地编译过程
Atlas高可用
qq_38502578的博客
11-15 1478
Atlas高可用 主节点 0000006的atlas-application.properties分发到各/etc/hive/conf/ Licensed to the Apache Software Foundation (ASF) under one or more contributor license agreements. See the NOTICE file distribute...
Elasticsearch+hbase 实现hbase中数据的快速查询(一)
cafebar123的专栏
03-03 7861
之前虽做了solr-hbase构建二级索引以及快速查询,但是考虑到以后生成的数据可能会很多,一旦到了亿级以上,solr查询效率会渐渐慢下来.老板不满意,又听了几位专家的建议,采用Elasticsearch+hbase 来实现hbase中数据的快速查询. 首先,安装Elasticsearch. CDH中没有集成Elasticsearch,所以只好独立安装. 1.下载elasticsearch-...
SILVACO Atlas器件仿真软件用户手册
"SILVACO Atlas 用户手册是器件仿真工具 Atlas 的使用指南，适合使用 Silvaco 软件的工程师参考。手册由 Silvaco Data Systems, Inc. 出版，包含了器件模拟软件 Atlas 的详细使用方法。" 本文档是 Silvaco Atlas ...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值