关于两台服务器手动搭建大数据平台方法和步骤

##### 初始服务器数量
- 2台centos7
##### 建议配置
- 32G(RAM)
- 24cpu
- 10t(SATA)
### 1.环境
- 系统centos7
- jdk：1.8.0_171（64位）
- zookeeper：3.4.8
- spark-2.1.0-bin-hadoop2.6
- kafka_2.10-0.10.2.1
- hadoop-2.7.0
- hbase-1.2.6
- elasticsearch-6.3.0
### 2.系统准备

对应的安装包文件：
    elasticsearch-6.3.0.tar.gz
    hadoop-2.7.0.tar.gz
    hbase-1.2.6-bin.tar.gz
    jdk-8u171-linux-x64.tar.gz
    kafka_2.10-0.10.2.1.tgz
    mysql-5.7.23-1.el7.x86_64.rpm-bundle.tar
    spark2.1.0hadoop2.6.tgz.gz
    zookeeper-3.4.8.tar.gz

一、 配置好hosts
```
        两台设备的host
        ip1 hello1
        ip2 hello2
        关闭防火墙
            systemctl stop firewalld
            systemctl disable firewalld

二、机器之间做好免密
1. 在hello1服务器中，cd /root/
2. ssh-keygen -trsa   (全部按回车，走默认配置)
3. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
4. chmod 600 ~/.ssh/authorized_keys
5. scp ~/.ssh/authorized_keys root@hello2:~/.ssh/
到此处时可以实现hello1机器上通过root账户登录到hello2中，但从hello2中无法通过免密码登录到hello1服务器。
6. 在hello2服务器中，cd /root/
7. ssh-keygen -trsa   (全部按回车，走默认配置)
8. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
9. scp ~/.ssh/authorized_keys root@hello1:~/.ssh/
到此处时可以实现hello1机器与hello2机器之间免密码互通

三、建立一个用户操作elasticsearch用户，后期所有安装软件放在该目录下（当前使用root账户安装）
1.添加用户：
    useradd -m -s /bin/bash es
2.为该用户设置密码：
    password es
    

四、安装JDK
    如果系统自带openjdk，先将其卸载掉！
1.创建jdk安装路径(hello1、hello2都执行)
    执行： mkdir /usr/java
2.解压缩jdk到安装目录
    执行： tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/java/
3.添加环境变量
    vi /etc/profile,添加以下语句
        export JAVA_HOME=/usr/java/jdk1.8.0_171
        export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
        export PATH=$PATH:$JAVA_HOME/bin
    执行：source /etc/profile
    
4.复制安装包和数据目录到hello2
    scp  -r /usr/java/jdk1.8.0_171 hello2:/usr/java/
    scp /etc/profile    hello2:/etc/
    登录到hello2上，进入/home/es目录
    执行： source /etc/profile
    
5、验证：
    两台服务器上分别执行： java -version,查看输出的版本是否与安装的版本一致。

五、安装mysql
1.如果centos系统中自带mariadb，先卸载mariadb。
2.解压mysql安装包程序
    执行：tar -xvf  mysql-5.7.23-1.el7.x86_64.rpm-bundle.tar
3.依次安装里面rpm包组建
    rpm -ivh mysql-community-common-5.7.23-1.el7.x86_64.rpm
    rpm -ivh mysql-community-libs-5.7.23-1.el7.x86_64.rpm
    rpm -ivh mysql-community-client-5.7.23-1.el7.x86_64.rpm 
    rpm -ivh mysql-community-server-5.7.23-1.el7.x86_64.rpm
    rpm -ivh mysql-community-devel-5.7.23-1.el7.x86_64.rpm
    
4.启动MySQL
    执行： systemctl start mysqld
    
5.登录mysql服务器
    这种方式安装好后，会再my.cnf文件中自动生成一个密码，
    执行：cat /var/log/mysqld.log | grep password， 出现如下记录：
        2017-09-15T01:58:11.863301Z 1 [Note] A temporary password is generated for root@localhost: m-NdrSG4ipuO
        其中“m-NdrSG4ipuO”为mysql root账户的初始密码。
    登录：
        执行： mysql -uroot -p
        输入密码： m-NdrSG4ipuO，即可进入mysql服务器。
    后续可自行修改root密码，创建新账户等操作。
    

六、安装zookeeper

1.解压zookeeper安装包到指定目录（/home/es）
    tar -zxvf zookeeper-3.4.8.tar.gz -C /home/es
2.创建程序软连接
    cd /home/es/
    ln -s zookeeper-3.4.8 zookeeper
    
3.添加执行路径环境
    vi /etc/profile    
    添加
        export ZOOKEEPER_HOME=/home/es/zookeeper
        export PATH=$PATH:$ZOOKEEPER_HOME/bin
    执行
        source /etc/profile
4.修改配置文件
    
    cd /home/es/zookeeper
    cp conf/zoo_sample.cfg co