大数据环境单点安装(hadoop,hbase,zookeeper,phoenix,spark)

大数据环境单点安装

ps:使用hadoop用户解压需要的文件避免权限问题

ps:可以不用给hadoop用户开root权限

1. 版本

版本
jdk-8u211-linux-x64
apache-phoenix-5.0.0-HBase-2.0-bin
apache-zookeeper-3.5.5-bin
hadoop-3.1.2
hbase-2.0.5
spark-2.3.3-bin-hadoop2.7

2. 准备

2.1 修改主机名(可以不改)和host为master

vim /etc/hostname
vim /etc/hosts

2.2 关闭防火墙

sudo systemctl stop firewalld.service
sudo systemctl disable firewalld.service

2.3 关闭selinux(修改完重启)

vim /etc/selinux/config
将SELinux status参数设定为关闭状态
SELinux status: disabled

2.4 安装JAVA

解压后放至：/usr/local/java/jdk1.8.0_211
vim /etc/profile
将java目录添加进环境

#java 1.8
JAVA_HOME=/usr/local/java/jdk1.8.0_211
CLASSPATH=.:$JAVA_HOME/lib.tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH

2.5 添加hadoop用户

useradd -m hadoop
passwd hadoop  #123456(忽略警告)
usermod -a -G hadoop hadoop   # 将hadoop用户移进hadoop用户组
cat  /etc/group    #查看用户组

2.6 修改用户权限（可以不用）

vi /etc/sudoers

##在行 root ALL=(ALL) ALL下添加
%hadoop ALL=(ALL) ALL
hadoop ALL=(ALL) ALL

2.7 切换用户

su hadoop

2.8 设置免密通信

生成rsa密钥

ssh-keygen -t rsa

将生成的rsa追加写入授权文件

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

给授权文件权限

chmod 600 ~/.ssh/authorized_keys

对本机ssh测试(第一次需要密码)

ssh master

2.9 将上述下载的文件全解压至/home/hadoop目录下

3. 安装hadoop

在目录/home/hadoop/hadoop-3.1.2/etc/hadoop下：

3.1 修改 core-site.xml

<configuration>
    <!-- 指定 namenode 的通信地址 默认 8020 端口 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000/</value>
    </property>

    <!-- 指定 hadoop 运行时产生文件的存储路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoop-3.1.2/tmp</value>
    </property>

        <!-- 安装zookeeper需要，否则不要-->
    <!-- 指定zookeeper地址，clientPort=2181 -->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>master:2181</value>
    </property>
</configuration>

3.2 修改 hadoop-env.sh

添加pid文件生成路径
export HADOOP_PID_DIR=/home/hadoop/hadoop-3.1.2/tmp/pid

3.3 修改hdfs-site.xml

<configuration>
    <!-- namenode 上存储 hdfs 名字空间元数据-->
    <property>
        <name>dfs.namenode.name.dir</name