数据治理三-Atlas与Hive数据集成

4、验证是否安装成功

四、Hive数据集成

1、Hive同步配置集成

2、全量同步配置

3、钩子测试

五、错误记录

1、配置文件中存在异常字符

2、guava版本不一致

---

一、安装环境

======

JDK 1.8

二、安装Hadoop

==========

1、下载hadoop

http://mirror.bit.edu.cn/apache/hadoop/ 选择合适的版本

下载hadoop

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz

执行 进行解压，为了方便使用吗，mv进行修改名称

tar -xzvf hadoop-3.3.0.tar.gz

mv hadoop-3.3.0.tar.gz  hadoop

2、修改环境变量

将hadoop环境信息写入环境变量中

vim /etc/profile

export HADOOP_HOME=/opt/hadoop

export PATH=$HADOO{P}_{H}OME/bin:$PATH

执行source etc/profile使其生效

3、修改配置文件

修改hadoop-env.sh文件，vim etc/hadoop/hadoop-env.sh修改JAVA_HOME信息

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-0.el7_8.x86_64

执行hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.