大数据基础平台搭建-（一）基础环境准备

大数据基础平台搭建-（一）基础环境准备

大数据平台系列文章：
1、大数据基础平台搭建-（一）基础环境准备
2、大数据基础平台搭建-（二）Hadoop集群搭建
3、大数据基础平台搭建-（三）Hadoop集群HA+Zookeeper搭建
4、大数据基础平台搭建-（四）HBase集群HA+Zookeeper搭建
5、大数据基础平台搭建-（五）Hive搭建

一、硬件环境准备

序号	IP	HostName	操作系统	说明
1	192.168.2.201		CentOS7_x64	暂时不用，可以跳过此服务器
2	192.168.2.202	znode	CentOS7_x64	暂时不用，可以跳过此服务器
3	192.168.2.203	hnode1	CentOS7_x64	NameNode Master
4	192.168.2.204	hnode2	CentOS7_x64	NameNode Second
5	192.168.2.205	hnode3	CentOS7_x64	DataNode
6	192.168.2.206	hnode4	CentOS7_x64	DataNode
7	192.168.2.207	hnode5	CentOS7_x64	DataNode

二、软件环境准备

序号	软件名称	版本	说明
1	JDK	1.8
2	Hadoop	3.3.4
3	HBase	-	列式数据库
4	Hive	-	数据仓库
5	Zookeeper	-

三、部署架构

四、修改主机名和hosts文件

1. 修改主机名（各服务器分别修改主机名）

使用hostnamectl命令修改主机名，执行该命令后立即生效，代码如下

[root@localhost ~]# hostnamectl set-hostname hnode1

其余的机器也使用hostnamectl命令修改主机名,示例如下：

[root@localhost ~]# hostnamectl set-hostname znode
[root@localhost ~]# hostnamectl set-hostname hnode1
[root@localhost ~]# hostnamectl set-hostname hnode2
[root@localhost ~]# hostnamectl set-hostname hnode3
[root@localhost ~]# hostnamectl set-hostname hnode4
[root@localhost ~]# hostnamectl set-hostname hnode5

2. 修改hosts文件 # 添加机器ip与主机名映射

[root@localhost ~]# vim /etc/hosts

192.168.2.202 znode
192.168.2.203 hnode1
192.168.2.204 hnode2
192.168.2.205 hnode3
192.168.2.206 hnode4
192.168.2.207 hnode5

五、 关闭防火墙（每台服务器都执行）

[root@hnode1 ~]# systemctl status firewalld.service
[root@hnode1 ~]# systemctl stop firewalld.service
[root@hnode1 ~]# systemctl disable firewalld.service

六、免密登录（每台服务器都执行）

## 生成密钥对
ssh-keygen -t rsa   ## 一路回车即可
## 进入.ssh目录，如果目录不存在则创建
cd ~/.ssh
## 将公钥导入至authorized_keys
cat id_rsa.pub >> authorized_keys
## 修改文件权限
chmod 700 ~/.ssh
chmod 600 authorized_keys

在node1上执行以下命令，使主节点能免密访问其他俩从节点：

## 配置主从互相免密登陆
[root@node1 ~]#cat ~/.ssh/id_rsa.pub | ssh root@znode 'cat - >> ~/.ssh/authorized_keys'
[root@node1 ~]#cat ~/.ssh/id_rsa.pub | ssh root@hnode1 'cat - >> ~/.ssh/authorized_keys'
[root@node1 ~]#cat ~/.ssh/id_rsa.pub | ssh root@hnode2 'cat - >> ~/.ssh/authorized_keys'
[root@node1 ~]#cat ~/.ssh/id_rsa.pub | ssh root@hnode3 'cat - >> ~/.ssh/authorized_keys'
[root@node1 ~]#cat ~/.ssh/id_rsa.pub | ssh root@hnode4 'cat - >> ~/.ssh/authorized_keys'
[root@node1 ~]#cat ~/.ssh/id_rsa.pub | ssh root@hnode5 'cat - >> ~/.ssh/authorized_keys'

七、安装Java

1. 创建/usr/java（目录各服务器分别修改主机名）

[root@hnode1 ~]# mkdir /usr/java

2. 上传JDK的安装文件

将jdk-8u271-linux-x64.tar.gz安装文件上传到其中一台服务器hnode1

3. 将安装文件同步到其它服务器的/usr/java目录下

[root@hnode1 java]# scp -r ./jdk-8u271-linux-x64.tar.gz root@znode:/usr/java
[root@hnode1 java]# scp -r ./jdk-8u271-linux-x64.tar.gz root@hnode2:/usr/java
[root@hnode1 java]# scp -r ./jdk-8u271-linux-x64.tar.gz root@hnode3:/usr/java
[root@hnode1 java]# scp -r ./jdk-8u271-linux-x64.tar.gz root@hnode4:/usr/java
[root@hnode1 java]# scp -r ./jdk-8u271-linux-x64.tar.gz root@hnode5:/usr/java

4. 安装

[root@hnode1 java]# tar -xzvf ./jdk-8u271-linux-x64.tar.gz

5. 配置环境变量

[root@hnode1 java]# vim /etc/profile
#SET JAVA
export JAVA_HOME=/usr/java/jdk1.8.0_271
export PATH=$JAVA_HOME/bin:$PATH
[root@ambariserver java]#source /etc/profile

6. 验证java版本

[root@hnode1 java]#java -version

※ 其它服务器也参照上述步骤4-6进行安装jdk