atlas安装以及问题整理

已于 2023-05-05 14:19:08 修改
阅读量2.1k 收藏 2
点赞数
分类专栏： 求缺斋 文章标签： solr 大数据 big data
于 2023-05-05 14:12:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/javaThanksgiving/article/details/130505251
版权
该文详细介绍了如何安装和配置Atlas2.1.0，包括Solr8.11.2的安装、Maven3.5.4的配置、JDK的设置，以及Atlas与Hbase、Solr、Kafka和Hive的集成步骤。在安装过程中遇到的问题如镜像缺失、索引创建失败等也给出了解决方案。
摘要由CSDN通过智能技术生成

在这里插入图片描述

Atlas安装：
solr版本：8.11.2
atlas版本：2.1.0
maven版本：3.5.4
jdk8
一、 SOLR安装
1、Solr官网https://solr.apache.org/downloads.html下载8.11.2版本solr（solr版本需要和atlas进行版本匹配）
2、上传到服务器。
3、tar -zxvf solr-8.11.2.tgz 进行解压
在这里插入图片描述

4、修改solr ZK_HOST配置信息
vim /var/bigdata_app/solr/solr8/solr-8.11.2/bin/solr.in.sh
在这里插入图片描述

5、启动solr
cd /var/bigdata_app/solr/solr8/solr-8.11.2/bin/
./solr start (需要在非root用户下启动)
6、启动成功
访问：http://ip:8983
在这里插入图片描述

二、 安装MAVEN
1、 maven官网下载3.5.4版本maven https://maven.apache.org/download.cgi
2、 上传到服务器。
3、 解压安装 tar -zxvf apache-maven-3.5.4-bin.tar.gz
4、 配置环境变量
vim /etc/profile
末尾添加
export MAVEN_HOME=/opt/installed/apache-maven-3.5.4
export PATH= M A V E N H O M E / b i n : MAVEN_HOME/bin: MAVENH​OME/bin:PATH
5、 保存退出/etc/profile，设置环境变量生效
source /etc/profile
6、 检查maven是否安装成功
mvn -v
在这里插入图片描述

7、 修改maven镜像地址（maven仓库镜像地址最好用华为和阿里云结合，如果只用阿里云，sqoop-1.4.6.2.3.99.0-195.jar可能无法下载）
vim $MAVEN_HOME/conf/settings.xml

<mirror>
  <id>huaweimaven</id>
  <name>huawei maven</name>
  <url>https://mirrors.huaweicloud.com/repository/maven/</url>
  <mirrorOf>central</mirrorOf>
</mirror>
    <mirror>
      <id>ali apache snapshots</id>
      <url>https://maven.aliyun.com/repository/apache-snapshots</url>
      <mirrorOf>apache snapshots</mirrorOf>
    </mirror>
    <mirror>
      <id>ali central</id>
      <url>https://maven.aliyun.com/repository/central</url>
      <mirrorOf>central</mirrorOf>
    </mirror>
<mirror>
      <id>ali google</id>
      <url>https://maven.aliyun.com/repository/google</url>
      <mirrorOf>google</mirrorOf>
    </mirror>
    <mirror>
      <id>ali gradle-plugin</id>
      <url>https://maven.aliyun.com/repository/gradle-plugin</url>
      <mirrorOf>gradle-plugin</mirrorOf>
    </mirror>
    <mirror>
      <id>ali jcenter</id>
      <url>https://maven.aliyun.com/repository/jcenter</url>
      <mirrorOf>jcenter</mirrorOf>
    </mirror>
    <mirror>
      <id>ali spring</id>
      <url>https://maven.aliyun.com/repository/spring</url>
      <mirrorOf>spring</mirrorOf>
    </mirror>
    <mirror>
      <id>ali spring-plugin</id>
      <url>https://maven.aliyun.com/repository/spring-plugin</url>
      <mirrorOf>spring-plugin</mirrorOf>
    </mirror>
    <mirror>
      <id>ali public</id>
      <url>https://maven.aliyun.com/repository/public</url>
      <mirrorOf>public</mirrorOf>
    </mirror>
    <mirror>
      <id>ali releases</id>
      <url>https://maven.aliyun.com/repository/releases</url>
      <mirrorOf>releases</mirrorOf>
    </mirror>
    <mirror>
      <id>ali snapshots</id>
      <url>https://maven.aliyun.com/repository/snapshots</url>
      <mirrorOf>snapshots</mirrorOf>
    </mirror>
    <mirror>
      <id>ali grails-core</id>
      <url>https://maven.aliyun.com/repository/grails-core</url>
      <mirrorOf>grails-core</mirrorOf>
    </mirror>
    <mirror>
      <id>ali mapr-public</id>
      <url>https://maven.aliyun.com/repository/mapr-public</url>
      <mirrorOf>mapr-public</mirrorOf>
    </mirror>

三、ATLAS安装
1、atlas官网下载 https://atlas.apache.org/#/Downloads
2、上传到服务器并解压
tar -zxvf apache-atlas-2.1.0-sources.tar.gz
3、修改/apache-atlas-sources-2.1.0/pom.xml
把各个组件替换成自己需要的版本。
在这里插入图片描述

4、编译atlas（有部分包需要自己下载，根据报错内容来自行下载所需jar包）
cd /var/bigdata_app/atlas/apache-atlas-sources-2.1.0
mvn clean -DskipTests package -Pdist
在这里插入图片描述

编译成功
cd /var/bigdata_app/atlas/apache-atlas-sources-2.1.0/distro/target/
在这里插入图片描述

5、编译成功之后将apache-atlas-2.1.0-bin复制到atlas目录
cp /var/bigdata_app/atlas/apache-atlas-sources-2.1.0/distro/target/ /var/bigdata_app/atlas/
6、配置jdk
cd /var/bigdata_app/atlas/apache-atlas-2.1.0/conf
vim atlas-env.sh
添加jdk
export JAVA_HOME=/usr/local/jdk8u222-b10
7、atlas集成Hbase
cd /var/bigdata_app/atlas/apache-atlas-2.1.0/conf
vim atlas-env.sh
#如果想要使用外部的HBase 改成false
export MANAGE_LOCAL_HBASE=false
#添加HBase 配置文件路径
export HBASE_CONF_DIR=/usr/hdp/current/hbase-client/conf

vim atlas-application.properties
#如果使用外部HBase，则填写外部zookeeper地址
atlas.graph.storage.hostname=ip:2181,ip:2181,ip:2181
8、 集成solr
cd /var/bigdata_app/atlas/apache-atlas-2.1.0/conf
vim atlas-env.sh
#如果想要使用外部的SOLR 改成false
export MANAGE_LOCAL_SOLR=false

vim atlas-application.properties
#配置 Solr 的Zookeeper地址
atlas.graph.index.search.solr.zookeeper-url=ip:2181,ip:2181,ip:2181
#Solr地址配置
atlas.graph.index.search.solr.http-urls=http://ip:8983/solr

创建solr初始索引
cd /var/bigdata_app/solr/solr8/solr-8.11.2/bin/
执行
./solr create -c vertex_index -shards 3 -replicationFactor 2
./solr create -c edge_index -shards 3 -replicationFactor 2
./solr create -c fulltext_index -shards 3 -replicationFactor 2

重启solr
./solr stop
./solr start
访问：http://ip:8983/

9、 配置atlas server
cd /var/bigdata_app/atlas/apache-atlas-2.1.0/conf/
vim atlas-application.properties

atlas.rest.address=http://192.168.xx.xx:21000
atlas.server.run.setup.on.start=false
atlas.audit.hbase.zookeeper.quorum=ip:2181,ip:2181,ip:2181

10、启动atlas
cd /var/bigdata_app/atlas/apache-atlas-2.1.0/bin/
./atlas_start.py
在这里插入图片描述

访问：http://ip:21000/

在这里插入图片描述

使用默认账号登录，用户名：admin，密码：admin
11、atlas集成kafka
cd /var/bigdata_app/atlas/apache-atlas-2.1.0/conf/
vim atlas-application.properties
######### Notification Configs #########

#使用外部kafka
atlas.notification.embedded=false
#atlas.kafka.data=${sys:atlas.home}/data/kafka
#kafka log文件存储地址
atlas.kafka.data=/kafka-logs,/BigData/kafka-logs
atlas.kafka.zookeeper.connect=ip:2181,ip:2181,ip:2181/kafka
atlas.kafka.bootstrap.servers=bigdata3:9092,bigdata4:9092,bigdata5:9092,bigdata6:9092
atlas.kafka.zookeeper.session.timeout.ms=4000
atlas.kafka.zookeeper.connection.timeout.ms=2000
atlas.kafka.zookeeper.sync.time.ms=20
atlas.kafka.auto.commit.interval.ms=1000
atlas.kafka.hook.group.id=atlas

atlas.kafka.enable.auto.commit=true
atlas.kafka.auto.offset.reset=earliest
atlas.kafka.session.timeout.ms=30000
atlas.kafka.offsets.topic.replication.factor=1
atlas.kafka.poll.timeout.ms=1000

#自动创建topic
atlas.notification.create.topics=true
atlas.notification.replicas=1
atlas.notification.topics=ATLAS_HOOK,ATLAS_ENTITIES
atlas.notification.log.failed.messages=true
atlas.notification.consumer.retry.interval=500
atlas.notification.hook.retry.interval=1000

在kafka中创建topic（ATLAS_HOOK,ATLAS_ENTITIES）
sh kafka-topics.sh -zookeeper ip:2181,ip:2181,ip:2181 --create --partitions 2 --replication-factor 2 --topic ATLAS_HOOK
sh kafka-topics.sh -zookeeper ip:2181,ip:2181,ip:2181 --create --partitions 2 --replication-factor 2 --topic ATLAS_ENTITIES

12、atlas集成hive
进入atlas编译目录
cd /var/bigdata_app/atlas/apache-atlas-sources-2.1.0/distro/target/
在这里插入图片描述

解压hook包
tar -zxvf apache-atlas-2.1.0-hive-hook.tar.gz

把hook复制到Atlas安装路径
cp -r /var/bigdata_app/atlas/apache-atlas-sources-2.1.0/distro/target/apache-atlas-2.1.0-hive-hook/* /var/bigdata_app/atlas/

HIVE环境添加HIVE-hook的jar路径
cd /usr/hdp/current/hive-client/conf
mv hive-env.sh.template hive-env.sh（如果已经改完则直接操作hive-env.sh）
vim hive-env.sh
export HIVE_AUX_JARS_PATH=/var/bigdata_app/atlas/apache-atlas-2.1.0/hook/hive/（需要在ambari集群进行操作，否则被覆盖掉，同时需要在集群的每台机器上都创建/var/bigdata_app/atlas/apache-atlas-2.1.0/hook/hive/文件夹，并把对应的文件进行下发，不然找不到对应的钩子文件）

HIVE配置添加Hook钩子
cd /usr/hdp/current/hive-client/conf
vim hive-site.xml（需要在ambari集群进行配置，不然会被覆盖）
添加下列配置

hive.exec.post.hooks
org.apache.atlas.hive.hook.HiveHook

加入Atlas的HIVE-Hook配置
cd /var/bigdata_app/atlas/apache-atlas-2.1.0/conf/
vim atlas-application.properties
末尾添加Hive Hook Configs
######### Hive Hook Configs #######
atlas.hook.hive.synchronous=false
atlas.hook.hive.numRetries=3
atlas.hook.hive.queueSize=10000
atlas.cluster.name=primary

在这里插入图片描述

将Atlas配置文件atlas-application.properties拷贝到HIVE（需要在ambari集群进行配置，不然会被覆盖，比如kafka信息内容）
cp /var/bigdata_app/atlas/apache-atlas-2.1.0/conf/atlas-application.properties /usr/hdp/current/hive-client/conf/

重启atlas
cd /var/bigdata_app/atlas/apache-atlas-2.1.0/bin/
./atlas_stop.py
./atlas_start.py
在这里插入图片描述

启动成功访问：http://ip:21000/
历史数据初始导入：
cd /var/bigdata_app/atlas/apache-atlas-hive-hook-2.1.0/hook-bin
执行import-hive.sh
可查看hive相关元数据信息
在这里插入图片描述

点击具体的表查看血缘关系
在这里插入图片描述

Hive表自动更新
Hue创建dwd_order_info_atlas_test表
在这里插入图片描述
建表语句
CREATE TABLE dwd_order_info_atlas_test (
id STRING COMMENT ‘订单号’,
final_amount DECIMAL(16,2) COMMENT ‘订单最终金额’
) COMMENT ‘’
ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t’;

Kafka接受建表数据
在这里插入图片描述

Atlas自动更新
在这里插入图片描述

Hive表无法自动更新（钩子问题）和kafka无法更新topic数据问题查看hive日志
cd hive日志地址
tail -1000f hive-server2.err

问题整理

sqoop-1.4.6.2.3.99.0-195.jar
一、sqoop-1.4.6.2.3.99.0-195.jar
编译atlas过程中sqoop jar包无法下载问题。
在这里插入图片描述

原因是因为aliyun的镜像没有这个包，需要在网上手动下载。
下载地址：https://download.csdn.net/download/qq_26502245/12713290?utm_source=bbsseo

进入maven本地仓库找到对应的包位置进行上传
cd repository/org/apache/sqoop/sqoop/1.4.6.2.3.99.0-195/
在这里插入图片描述

上传之后重新进行编译。
二、atlas查询不到solr索引
在这里插入图片描述

原因是最开始装的是solr5.5.1版本，其版本过低与atlas2.1.0匹配不成功。
解决办法：更换更高版本的solr（8.11.2）

三、solr创建索引失败
在这里插入图片描述

Solr上多出了虚拟ip，创建索引无法成功。
原因是之前在别的服务器上测试启动过solr，没有指定过solr ip，但是都是用一套zk进行管理的，所以给分配了虚拟ip。
解决办法：关闭测试solr，创建索引正常。
在这里插入图片描述

四、找不到钩子目录
在这里插入图片描述

找不到钩子目录
解决办法：需要在集群中每台机器都创建此文件夹，并把目录下的文件分发到每台机器上。

五、无法解析kafka broker
报错信息：
bootstrap.servers = []
ERROR hook.AtlasHook: Failed to send notification - attempt #3; error=Failed
在这里插入图片描述

原因是hive集群会不定期覆盖atlas-application.properties文件。需要在ambari中进行配置。
位置：Ambari hiveCONFIGSADCANVED atlas-application.properties

在这里插入图片描述

Hive表无法自动更新（钩子问题）和kafka无法更新topic数据问题查看hive日志
tail -1000f hive-server2.err

Thanksgiving~
关注
专栏目录
Atlas安装详解
g511266804的博客
06-02 8345
一、Atlas简介 1.Atlas概述 Apache Atlas为组织提供开放式元数据管理和治理功能，用以构建其数据资产目录，对这些资产进行分类和管理，并为数据分析师和数据治理团队，提供围绕这些数据资产的协作功能，它为Hadoop集群提供了包括 数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能力。 2. Atlas框架原理 2.1 Core层 Atlas核心包含以下组件： 2.1.1 类型系统(Type System): 用户为他们想要管理的元数据对象定义模型。Type Syst
Atlas集成外部组件—集成Hive、HBase、Kafka
2401_84408437的博客
05-02 566
6# 账户密码 admin admin1232、集成HBase=========1# 编辑 hbase-site.xml2cd /etc/hbase/conf3vi hbase-site.xml45# add for hbase regist atlas hook6# design by liziba 2021/02/2278 hbase.coprocessor.master.classes9 org.apache.atlas.hbase.hook.HBaseAtlasCoprocessor10
Atlas (二) --------- Atlas 安装
在森林里麋了鹿
11-03 1448
Atlas 安装
Atlas开源项目安装与使用指南
最新发布
gitblog_00469的博客
08-24 269
Atlas开源项目安装与使用指南 atlasE-Commerce Backend API in Hapi.js and RethinkDB项目地址:https://gitcode.com/gh_mirrors/atlas6/atlas 一、项目目录结构及介绍 阿特拉斯（Atlas）项目遵循典型的开源软件组织结构，下面是其主要的目录组成部分： atlas/ ├── README.md ...
Apache Atlas简单安装
邢慧鹏的博客
06-29 1123
编译、安装Apache Atlas。
Atlas安装及使用
互联网知识分享
08-09 1187
它基于力导向布局算法实现，通过模拟节点之间的相互作用力和斥力，使得节点能够在布局中达到平衡状态。力导向布局是一种基于物理模型的布局算法，它模拟了节点之间的相互作用力和斥力，使得节点在布局中能够达到一个平衡状态。库实现了力导向布局算法，通过设置不同的布局参数，可以控制布局的样式和行为，包括布局类型、迭代次数、缩放比例和随机种子等。是一个开源的自动图形布局工具，可以用于生成各种类型的图形布局，如力导向布局、层次布局、环形布局等。计算节点之间的相互作用力，相互作用力的大小取决于节点之间的连接关系。
atlas单机安装
分享简单的安全技术
02-23 2720
一、虚拟机准备 更新虚拟机，命令：yum -y update 修改hostname，命令：hostnamectl set-hostname atlas 关闭防火墙，命令：systemctl stop firewalld.service和systemctl disable firewalld.service reboot 二、安装jdk 卸载openjdk，命令： rpm -e --nodeps java-1.7.0-openjdk rpm -e --nodeps java-1.7.0-openjdk
Atlas200DK系统实践解密doc文档合集整理.zip
03-08
这个"Atlas200DK系统实践解密doc文档合集整理.zip"压缩包很可能是包含了一系列关于如何有效利用这款开发板进行系统实践、项目开发以及问题解决的文档集合。"资源达人分享计划"的标签表明这些资料可能是由社区或个人...
Atlas数据演示.rar
01-07
然后，可以使用编程语言如Python的pandas库来读取和处理这些文本数据，清洗和整理数据格式，例如去除空格、处理缺失值、转换日期格式等。进一步，可以利用数据分析工具（如Excel、Tableau或Python的matplotlib、...
新版TCGA数据整理，通过R语言实现TCGA数据整理
04-05
TCGA（The Cancer Genome Atlas）是一项旨在系统地对不同类型的癌症的遗传变异进行研究的项目。该计划由美国国家卫生研究院（NIH）下属的国家癌症研究所（NCI）和国家人类基因组研究所（NHGRI）共同发起。TCGA项目...
Mobile Atlas Creator-开源
04-27
Mobile Atlas Creator是一款开源软件，专为移动设备设计，如Android、iPhone和Windows CE系统，以及Garmin、Magellan等GPS设备提供离线栅格地图集的创建服务。这个工具允许用户下载并整理大量的地理数据，生成可以在...
atlas安装
11-10
atlas安装的工具
Apache Atlas1.1.0安装包
03-08
因为atlas目前官网给的只有源码需要自行编译，而且自己编译的时候很容易出现各种各样的bug，就上传一个已经编译打包好的安装包，直接解压应该就可以用↖(^ω^)↗ 因为每次上传有限制，就拆开上传，这个压缩包里面有bin、conf、data、docs、models、logs还有几个txt文档
mysql-atlas安装及使用教程
weixin_34326429的博客
04-03 186
Atlas是由 Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基础上，修改了大量bug，添加了很多功能特性。目前该项目在360公司内部得到了广泛应用，很多MySQL业务已经接入了Atlas平台，每天承载的读写请求数达几十亿条。同时，有超过50家公司在生产环境中部署了Atlas，超过80...
Atlas 的安装与配置
weixin_45417821的博客
02-05 3507
文章目录Atlas 安装Atlas 配置Atlas 集成 HbaseAtlas 集成 SolrAtlas 集成 KafkaAtlas Server 配置Atlas 集成 Hive Atlas 安装 1）Atlas 官网地址：https://atlas.apache.org/ 2）文档查看地址：https://atlas.apache.org/2.1.0/index.html 3）下载地址：https://www.apache.org/dyn/closer.cgi/atlas/2.1.0/apache-atl
Apache Atlas 安装部署
Nice的博客
07-17 3235
atlas 安装部署采坑记录
Atlas安装配置
aijilao9328的博客
03-22 211
准备环境 192.168.1.1（Altas） 192.168.1.2（MySQL主） 192.168.1.3（MySQL从） 官方链接：https://github.com/Qihoo360/Atlas/wiki/Atlas%E7%9A%84%E5%AE%89%E8%A3%85 主从搭建：http://www.cnblogs.com/cypress/p/8...
ATLAS安装&资源
weixin_33968104的博客
06-01 162
http://atlas.asp.net/docs/overview/install.aspx 上面的地址,是官方的安装说明(英文),这里我大概就说一下里面有什么东西. 到http://atlas.asp.net/上面下载最新版本,然后安装,一路NEXT.其中涉及到安装ATLAS的项目模板,注册.asbx 的文件扩展名到IIS. 安装之后你就可以在VS2005中建立ATLAS项目,不多说. ...
R语言实现新版TCGA数据整理教程
在生物信息学领域，TCGA（The Cancer Genome Atlas）是一个庞大的癌症基因组项目，它收集了多种癌症类型的数据，包括基因表达、拷贝数变异、甲基化等多个层面的信息。本教程主要介绍如何利用R语言来处理和整理新版...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值