元数据治理 -- Apache Atlas
Atlas 是一组可扩展和可扩展的核心基础治理服务——使企业能够有效和高效地满足其在 Hadoop 中的合规性要求,并允许与整个企业数据生态系统集成。
Apache Atlas 为组织提供开放的元数据管理和治理功能,以构建其数据资产的目录,对这些资产进行分类和治理,并为数据科学家、分析师和数据治理团队提供围绕这些数据资产的协作功能。
Apache Atlas安装
一、编译
目前Atlas官方并没有提供二进制安装包,需要用户自行编译打包
基础环境依赖
- JDK1.8+
- Maven3.5+
- Python2.7+
注:Maven需要使用3.5以后的版本,jdk需要jdk1.8.0_151以上,否则编译过程会有问题,本次编译使用版本 jdk1.8.0_202, maven-3.8.2
Maven配置
官方下载依赖速度过慢,可以使用阿里云maven仓库,其他代理仓库也可以。
本地依赖准备
atlas依赖 org.restlet.jee,官方仓库中没有,需要提前安装在本地,保证编译过程顺利进行
wget https://download.restlet.talend.com/2.3/restlet-jee-2.3.0.zip
unzip restlet-jee-2.3.0.zip
cd restlet-jee-2.3.0/lib
mvn install:install-file -DgroupId=org.restlet.jee -DartifactId=org.restlet -Dversion=2.3.0 -Dpackaging=jar -Dfile=org.restlet.jar
mvn install:install-file -DgroupId=org.restlet.jee -DartifactId=org.restlet.ext.servlet -Dversion=2.3.0 -Dpackaging=jar -Dfile=org.restlet.ext.servlet.jar
开始编译
mvn clean install -Drat.skip=true -DskipTests
mvn clean -Drat.skip=true -DskipTests package -Pdist,embedded-hbase-solr
二、启动
cd apache-atlas-sources-2.1.0/distro/target/apache-atlas-2.1.0-bin/apache-atlas-2.1.0
python bin/atlas_start.py