Hadoop及组件部署安装

Hadoop 部署与安装

---

更多Hadoop组件配套安装与部署
   Hadoop：https://blog.csdn.net/Gordo_Li/article/details/103309484
   Hbase: https://blog.csdn.net/Gordo_Li/article/details/103199302
   Hive: https://blog.csdn.net/Gordo_Li/article/details/103199319
   Pig: https://blog.csdn.net/Gordo_Li/article/details/103199334
   Sqoop: https://blog.csdn.net/Gordo_Li/article/details/103199352
   Flume: https://blog.csdn.net/Gordo_Li/article/details/103199291
   Zoopkeeper: https://blog.csdn.net/Gordo_Li/article/details/103199364
部分组件软件包：
   soft.gz.tar: https://download.csdn.net/download/Gordo_Li/1199307

---

0. 准备工作
   在本地传输软件包到服务器：

   scp /Users/soft.tar.gz root@IP地址:/data
   

   输入服务器密码。传输完成后，可登陆服务器查看，并解压缩：

   cd /data
   ll
   tar -zxvf soft.tar.gz 
   

   得到我们软件包的清单：

   [root@hw1 data]# ll /data/soft
   总用量 1547172
   -rw-r--r-- 1 root root  90859180 8月  23 03:53 apache-hive-1.2.2-bin.tar.gz
   -rw-r--r-- 1 root root  19466965 8月  23 03:53 apache-hive-2.1.1-src.tar.gz
   -rw-r--r-- 1 root root 232225538 8月  23 02:53 apache-hive-2.3.6-bin.tar.gz
   -rw-r--r-- 1 root root 214092195 8月  23 03:54 hadoop-2.7.3.tar.gz
   -rw-r--r-- 1 root root 104659474 8月  23 03:54 hbase-1.2.6-bin.tar.gz
   -rw-r--r-- 1 root root 181365687 8月  23 03:55 jdk-8u77-linux-x64.tar.gz
   -rw-r--r-- 1 root root 528015360 8月  28 22:42 mysql-5.7.25-1.el7.x86_64.rpm-bundle.tar
   -rw-r--r-- 1 root root     26024 8月  28 22:53 mysql80-community-release-el7-3.noarch.rpm
   -rw-r--r-- 1 root root    972009 8月  28 22:40 mysql-connector-java-5.1.36-bin.jar
   -rw-r--r-- 1 root root    210202 5月  24 2016 mysqlsampledatabase.sql
   -rw-r--r-- 1 root root     54335 8月  29 03:14 mysqlsampledatabase.zip
   -rw-r--r-- 1 root root   2739670 8月  29 23:16 ojdbc6.jar
   -rw-r--r-- 1 root root 186354175 8月  23 03:55 spark-2.0.0-bin-hadoop2.7.tgz
   -rw-r--r-- 1 root root   5269020 8月  23 03:55 sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz
   -rw-r--r-- 1 root root  17953604 8月  28 21:47 sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
   

   将该文件分别传给另外两台服务器，并解压缩：

   scp /data/soft.tar.gz root@IP地址:/data
   

1. 更改主机名（hostname)
   为了便于操作，将三台华为云服务器主机名更改为hw1\hw2\hw3
   对三台服务器分别操作：

   hostnamectl set-hostname newname
   

   然后重启（init 0）即可

2. 建立集群登陆

   • ‘ssh+主机名’登陆
     1. 更改hosts文件

        vi /etc/hosts
        

     2. 在最后添加（服务器的内网IP和对应主机名&