集群环境搭建

基本准备

• ip
• 主机名
• 防火墙
• 免密
• 域名隐射

HADOOP

版本选择3.1.1

配置文件

• hadoop-env.sh
• core-site.xml
• hdfs-site.xml
• yarn-site.xml
• mapred-site.xml
• 编写workersname
• 启动脚本添加安全用户定义
• /etc/profile

export JAVA_HOME=/opt/apps/jdk1.8.0_191/
export HADOOP_HOME=/opt/apps/hadoop-3.1.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

• 安装包分发
• 初始化,启动

hdfs namenode -format

start-dfs.sh

ZOOKEEPER安装部署

• zoo.cfg配置
• myid配置
• /etc/profile

export ZK_HOME=/opt/apps/zookeeper-3.4.6/
export PATH=$PATH:$ZK_HOME/bin

• 编写启动脚本,给予权限
• 分发安装包

HBASE搭建

• hbase-env.sh配置

export JAVA_HOME=/opt/apps/jdk1.8.0_191/

export HBASE_MANAGES_ZK=false

• hbase-site.xml配置
• regionservers配置
• /etc/profile
• 分发安装包
• 启动测试

HIVE搭建

• 版本3.1.2

MYSQL

# 安装wget下载工具
yum install wget

# 下载mysql RPM 源
wget https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm

# 安装mysql rpm源
yum -y localinstall mysql57-community-release-el7-11.noarch.rpm

# 安装mysql 服务
yum -y install mysql-community-server

# 设置服务自启
systemctl start mysqld
systemctl enable mysqld

# 寻找默认生成的密码
grep 'password' /var/log/mysqld.log

# 登录mysql，修改root密码
mysql -uroot -p
Enter password: 

mysql> SET PASSWORD = PASSWORD('1111');
Query OK, 0 rows affected, 1 warning (0.00 sec)

# 开启root用户远程登录权限
mysql> grant all privileges on *.* to 'root'@'%' identified by '1111' with grant option;

mysql> flush privileges;

HIVE

• hive-site.xml
• /etc/profile
• 启动hive   在hive的lib目录中，放入mysql驱动连接jar包

KAFKA

• server.properties配置集群
• 启动kafka集群测试

FLUME

• 上传
• 解压
• 编写配置文件

SPARK

• 进入spark/conf目录下将spark-env.sh.template重命名为spark-env.sh
• spark-env.sh添加jdk    export JAVA_HOME=/opt/apps/jdk1.8.0_191/
• spark-env.sh添加     export HADOOP_CONF_DIR=/opt/apps/hadoop-3.1.1/etc/hadoop/
• /etc/profile添加spark环境变量
• export SPARK_HOME=/opt/apps/spark-2.4.4
• export PATH=$PATH:$SPARK_HOME/bin

由于不用spark集群,故不做spark集群配置

sqoop

• mv sqoop-env-template.sh  sqoop-env.sh
• 配置HADOOP_COMMON_HOME
• 配置HADOOP_MAPRED_HOME
• 把MYSQLjar包放到lib下面
• 配置HIVE_HOME
• HIVE_CONF_DIR=/opt/apps/hive-3.1.2/conf
• HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*

azkaban

• 配置linux系统的时区  tzselect
• 创建MySQL数据库 create database azkaban;
• 执行sql文件,创建表    source /opt/apps//azkaban-2.5.0/create-all-sql-2.5.0.sql;
• 创建ssl(https安全协议)证书配置,linux自带的,,,测试
• 进入azkaban-Web目录的conf   修改azkaban.properties文件   时区,数据库,密码,邮件
• 修改azkaban-users.xml   增加管理员用户<user username="admin" password="admin" roles="admin,metrics" />
• 进入azkaban-Executor目录的conf目录   修改azkaban.properties  时区,数据库

atlas

非内嵌安装包,不带hbase,solr,kafka,zookeeper

• 下载源码包,上传到linux,解压修改pom文件,maven编译打包
• 需要zookeeper,运行正常
• 需要kafka,运行正常
• 需要hbase,运行正常
• 需要solr,运行正常,第一次需要初始化索引数据

• bin/solr create -c vertex_index -shards 1 -replicationFactor 1 -force

• bin/solr create -c edge_index -shards 1 -replicationFactor 1 -force

• bin/solr create -c fulltext_index -shards 1 -replicationFactor 1 -force

• 配置atlas   atlas-env.sh  各种地址

hive-hook

• 修改hive-env.sh

• export HIVE_AUX_JARS_PATH=

• 添加hive-site.xml

• <property>

      <name>hive.exec.post.hooks</name>

      <value>org.apache.atlas.hive.hook.HiveHook</value>

  </property>

• 拷贝atlas配置文件atlas-application.properties到hive配置目录,并添加配置

hbase-hook

• 修改hbase-site.xml 
• 拷贝atlas配置文件atlas-application.properties到hbase配置目录,并添加配
• 创建链接   ln -s /opt/apps/apache-atlas-2.1.0/hook/hbase/* /opt/apps/hive-3.1.2/lib/
• 把atlas-application.properties 和 hbase-site.xml 发送到其他机器上

CDH

KyLin

环境要求

export JAVA_HOME=/opt/apps/jdk1.8.0_191/

export HADOOP_HOME=/opt/apps/hadoop-3.1.1

export HIVE_HOME=/opt/apps/apache-hive-3.1.2-bin

Export HIVE_CONF=/opt/apps/apache-hive-3.1.2-bin/conf

export HBASE_HOME=/opt/apps/hbase-2.0.6

export KYLIN_HOME=/opt/apps/kylin-3.1.0/

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$HIVE_HOME/bin

修改habse-site.xml,将zookeeper地址中端口号去掉

检查运行环境

${KYLIN_HOME}/bin/check-env.sh

然后启动kylin

bin/kylin.sh start

superset

安装Python3

pip install apache‐superset ‐i https://pypi.tuna.tsinghua.edu.cn/simple

superset db upgrade

superset fab create‐admin

(superset) [root@superset2 superset]# superset load_examples

superset init