Apache Atlas2.1.0 编译 安装

Apache Atlas 介绍

Apache Atlas是托管于Apache旗下的一款元数据管理和治理的产品，Apache Atlas提供api和一系列插件可以方便将数据库元数据信息导入到atlas中进行分析，atlas也提供web界面对元数据进行管理，通过atlas，企业可以对数据库元数据建立资产目录，并对这些资产进行分类和治理，为数据分析，数据治理提供高质量的元数据信息。

Apache Atlas 安装

1. 安装环境准备

• jdk1.8+
• maven3+
• nodejs

2. 下载 Atlas 并解压 编译

下载地址: https://www.apache.org/dyn/closer.cgi/atlas/2.1.0/apache-atlas-2.1.0-sources.tar.gz
官方编译步骤: http://atlas.apache.org/2.1.0/index.html#/BuildInstallation

tar xvfz apache-atlas-2.1.0-sources.tar.gz
cd apache-atlas-sources-2.1.0/
export MAVEN_OPTS="-Xms2g -Xmx2g"
mvn clean -DskipTests install
# 如不需要使用内置的solr 与 hbase 采取该方式 编译
mvn clean -DskipTests package -Pdist

# 如需要使用内置的solr 与 hbase 采取该方式 编译,当前 我采取该方式
# 可事先 下载 hbase-2.0.2.tar.gz,solr-7.5.0.tgz 放到 
# /data/software/apache-atlas-sources-2.1.0/distro/ hbase 或 solr 路径下

mvn clean -DskipTests package -Pdist,embedded-hbase-solr

# 如需要使用内置的solr 与 cassandra 采取该方式 编译
mvn clean package -Pdist,embedded-cassandra-solr

3. Atlas 配置 启动

编译完成 路径 : /data/software/apache-atlas-sources-2.1.0/distro/target/apache-atlas-2.1.0-bin

• 配置

vim atlas-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_221

# 默认使用内置的hbase solr 为 true
export MANAGE_LOCAL_HBASE=false #如果要使用外部的zk和hbase，则改为false
export MANAGE_LOCAL_SOLR=true  #如果要是用外部的solr，则改为false

vim atlas-application.properties

# Hbase地址（对应的zk地址）配置（自带hbase会根据此端口启动一个zk实例）
# 如果使用外部hbase，则填写外部zookeeper地址,多个以逗号分隔
atlas.graph.storage.hostname=hadoop001:2181,hadoop002:2181,hadoop003:2181 

# Solr配置
atlas.graph.index.search.solr.zookeeper-url=hadoop001:2181


# Kafka相关配置 默认使用内部kafka true
atlas.notification.embedded=false # 如果要使用外部的kafka，则改为false

# 内嵌kafka会根据此端口启动一个zk实例
atlas.kafka.zookeeper.connect=hadoop001:2181/kafka # 如果使用外部kafka，则填写外部zookeeper地址
atlas.kafka.bootstrap.servers=hadoop001:9092 # 如果使用外部kafka，则填写外部broker server地址

• 启动
  如 使用默认配置 则直接启动

bin/atlas_start.py
# web 页面:  http://localhost:21000 登录密码:admin/admin
#验证是否启动成功
[root@hadoop001 conf]# curl -u admin:admin http://localhost:21000/api/atlas/admin/version
{"Description":"Metadata Management and Data Governance Platform over Hadoop","Revision":"release","Version":"2.1.0","Name":"apache-atlas"}[root@hadoop001 conf]# 

#若启动失败 可去logs 目录查看报错日志

如 使用外部 hbase kafka 则先启动hbase kafka

• 1.启动solr

$SOLR_HOME/bin/solr start -c -z <zookeeper_host:port> -p 8983

# 创建初始化collections
bin/solr create -c vertex_index -shards 1 -replicationFactor 1 -force
bin/solr create -c edge_index -shards 1 -replicationFactor 1 -force
bin/solr create -c fulltext_index -shards 1 -replicationFactor 1 -force

• 2.启动hbase

[root@hadoop001 conf]# /data/app/hbase/bin/start-hbase.sh

• 3.启动kafka

[root@hadoop001 conf]# /data/app/kafka/bin/kafka-server-start.sh -daemon /data/app/kafka/config/server.properties

• 全部进程

[root@hadoop001 conf]# jps
# hadoop
31938 ResourceManager
32131 NodeManager
31123 NameNode
31607 SecondaryNameNode
31310 DataNode

# kafka
29699 Kafka

# Atlas solr
8135 Atlas
11464 jar

# hbase
14601 HMaster
14845 HRegionServer

# hive
4786 RunJar
5938 RunJar

# zookeeper
29580 QuorumPeerMain

4. 页面展示

• 运行官方案列

# Run quick start to load sample model and data
bin/quick_start.py
Enter username for atlas : admin
Enter password for atlas : admin