atlas安装需要kafka吗_Apache Atlas安装和配置

本文详细介绍了Apache Atlas的安装和配置过程,包括如何集成外部的HBase、Solr集群,以及配置Kafka,确保Atlas能够正常运行并与其他组件协同工作。此外,还涉及到Atlas与其他服务如Hive的集成和元数据导入。
摘要由CSDN通过智能技术生成

Atlas概述

Apache Atlas为组织提供开放式元数据管理和治理功能,用以构建其数据资产目录,对这些资产进行分类和管理,并为数据分析师和数据治理团队,提供围绕这些数据资产的协作功能。

Atlas架构原理

Atlas安装及使用

通常企业开发中选择集成外部的HBase+Solr,方便项目整体进行集成操作。

安装Solr5.2.1

1)Solr版本要求必须是5.2.1,见官网2)Solr下载:http://archive.apache.org/dist/lucene/solr/5.2.1/solr-5.2.1.tgz

4)解压solr-5.2.1.tgz到/opt/module/目录下面

[kris@hadoop101 module]$tar -zxvf solr-5.2.1.tgz -C /opt/module/

5)修改solr-5.2.1的名称为solr

[kris@hadoop101 module]$mv solr-5.2.1/solr6)进入solr/bin目录,修改solr.in.sh文件

[kris@hadoop102 solr]$ vim bin/solr.in.sh#添加下列指令

ZK_HOST="hadoop101:2181,hadoop102:2181,hadoop103:2181"SOLR_HOST="hadoop101"# Sets the port Solr binds to, default is8983#可修改端口号

SOLR_PORT=8983

7)分发Solr,进行Cloud模式部署

[kris@hadoop101 module]$ xsync solr

提示:分发完成后,分别对hadoop102、hadoop103主机/opt/module/solr/bin下的solr.in.sh文件,修改为SOLR_HOST=对应主机名。8)在三台节点上分别启动Solr,这个就是Cloud模式

[kris@hadoop101 solr]$ bin/solr start

[kris@hadoop102 solr]$ bin/solr start

[kris@hadoop103 solr]$ bin/solr start

提示:启动Solr前,需要提前启动Zookeeper服务。9)Web访问8983端口,可指定三台节点中的任意一台IP,http://hadoop101:8983/solr/#/

提示:UI界面出现Cloud菜单栏时,Solr的Cloud模式才算部署成功。10)编写Solr启动停止脚本

(1)在hadoop101的/home/kris/bin目录下创建脚本

[kris@hadoop102 bin]$ vim s.sh在脚本中编写如下内容

#!/bin/bashcase $1 in

"start"){for i inhadoop101 hadoop102 hadoop103do

ssh $i "/opt/module/solr/bin/solr start"

done};;"stop"){for i inhadoop101 hadoop102 hadoop103do

ssh $i "/opt/module/solr/bin/solr stop"

done};;esac

View Code

(2)增加脚本执行权限

[kris@hadoop101 bin]$chmod +x s.sh(3)Solr集群启动脚本

[kris@hadoop101 module]$ s.shstart

(4)Solr集群停止脚本

[kris@hadoop101 module]$ s.sh stop

安装Atlas0.8.4

1)解压apache-atlas-0.8.4-bin.tar.gz到/opt/module/目录下面

[kris@hadoop101 module]$tar -zxvf apache-atlas-0.8.4-bin.tar.gz -C /opt/module/

2)修改apache-atlas-0.8.4的名

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值