怎么样可以进行平台环境部署

大数据学习--平台环境部署（详细）

---

本文利用云服务器对大数据平台进行环境部署，包含：服务器使用、环境准备、Hadoop集群完全分布式安装、Zookeeper集群完全分布式安装、HBase完全分布式安装、Hive、Scala、Spark、Sqoop、Flume的安装。如有错误还望指出。

---

目录

一、服务器使用

二、环境准备

三、Hadoop3.1.1 集群环境安装

四、Zookeeper 集群安装部署

五、Hbase 完全分布式安装

六、Hive安装

七、Scala安装

八、Spark安装

九、Sqoop安装

十、flume安装

---

• 一、服务器使用

---

阿里云服务器，百度云服务器，腾讯云服务器。学生购买会有优惠，但只限一台机器。我用的学生优惠分别在三个平台各买了一台云主机来搭建大数据环境。

1、阿里云（centos7.3）

47.101.62.158公

172.19.46.110私

2、百度云（centos7.3）

180.76.96.39 公

192.168.0.4私

3、腾讯云（centos7.3）

132.232.131.91 公

172.27.0.13 私

4、安全组ssh端口开放

使用服务器这里是关键。服务器如果在各网页界面去操作会效率很低，用Xshell或者putty可以远程连接服务器进行操作。这样就需要设置各服务器安全组打开ssh的22端口，然后进行远程连接。

---

• 二、环境准备

---

OS:CentOS 7.0+

远程连接:Xshell

序号	主机	IP	主机名	用户名	密码
1	Baidu Cloud	180.76.96.39 公 192.168.0.4 私	Hadoop2	root	***
2	Alibaba Cloud	47.101.62.158 公 172.19.46.110 私	Hadoop1	root	***
3	Tencent Cloud	132.232.131.91 公 172.27.0.13 私	Hadoop3	root	***

Package：

Welcome to The Apache Software Foundation!（Apache官网）

Index of /apache

Hadoop集群安装（伪|全）

https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz

JDK安装

Unauthorized Request

如果用wget命令下载会出问题：博客：https://blog.csdn.net/weixin_42039699/article/details/82936624

MySQL安装

https://dev.mysql.com/get/Downloads/MySQL-5.6/mysql-5.6.41-linux-glibc2.12-x86_64.tar.gz

https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.47.tar.gz

Pig安装

https://mirrors.tuna.tsinghua.edu.cn/apache/pig/pig-0.17.0/pig-0.17.0.tar.gz

Hive安装

https://mirrors.tuna.tsinghua.edu.cn/apache/hive/stable-2/apache-hive-2.3.3-bin.tar.gz

HBase安装

https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/1.2.7/hbase-1.2.7-bin.tar.gz

Zookeeper集群安装

https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz

Sqoop安装

Apache Sqoop - Apache Attic

Spark安装

https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.3.1/spark-2.3.1-bin-hadoop2.7.tgz

Flume安装

https://mirrors.tuna.tsinghua.edu.cn/apache/flume/stable/apache-flume-1.8.0-bin.tar.gz

Storm安装

https://mirrors.tuna.tsinghua.edu.cn/apache/storm/apache-storm-1.2.2/apache-storm-1.2.2.tar.gz

---

• 三、Hadoop3.1.1 集群环境安装

---

设备：

实验设备包括 3 台服务器（CentOS7.0+）

实验所需安装包

步骤：

1.基础环境准备

1.1 集群规划

序号	主机	IP	主机名	用户名	密码
1	Baidu Cloud	180.76.96.39 公 192.168.0.4 私	Hadoop2	root	***
2	Alibaba Cloud	47.101.62.158 公 172.19.46.110 私	Hadoop1	root	***
3	Tencent Cloud	132.232.131.91 公 172.27.0.13 私	Hadoop3	root	***

1.2 系统准备

3台服务器（CentOS7.0+）

软件安装包存放于tgz目录下：

1.3 网络配置(虚拟机配置，云服务器跳过)

为每个 Hadoop 主机配置相应的 IP 地址，每台的操作方法相同。IP 地址根据

实验环境进行配置，如果实验环境使用的是动态 IP 地址则可以跳过网络配置部分，进入下一步操作。

1.3.1 修改网络配置文件

1、首先，确保在 root 用户下进行操作。通过 vi 命令修改网络配置文件

[root@localhost ~]#

vi /etc/sysconfig/network-scripts/ifcfg-eth0

2、然后按 i 键进入编辑模式，我们需要将其中的 BOOTPROTO=dhcp 改为BOOTPROTO=static 意思是设置为静态 IP，将 ONBOOT=no 改为 ONBOOT=yes 意思是将网卡设置 为开机启用，同时在文字下方添加如下内容：

IPADDR= #静态 IP

GATEWAY= #默认网关

NETMASK= #子网掩码

DNS1= #DNS 配置

3、修改完成以后按 Esc 键退出编辑模式，按 Shift + : 输入 wq 进行保存并退出！修改好的配置截图。

1.3.2 重启网络服务

通过 service network restart 重启网络服务，使修改的配置生效