HADOOP分布式文件系统集群搭建

目录

 

环境准备

前期准备

网络配置

修改主机名

关闭防火墙

配置域名映射

上传安装jdk

修改master的环境变量：/etc/profile

安装HDFS

修改hadoop-env.sh

修改core-site.xml

修改hdfs-site.xml

利用scp命令复制到其他服务器上

启动hdfs集群

先初始化namenode的元数据存储目录：格式化

启动namenode

启动datanode

访问namenode的web页面

批量自动启动集群

修改master的slaves文件，将需要让脚本自动启动的datanode域名填入salves文件

批量启动

HDFS命令常用操作

常见操作

所有操作

---

环境准备

前期准备

centos7虚拟机克隆四台   单核1g内存20硬盘。

 其中namenode是管理文件系统的元数据,而datanode存储了实际的数据。

网络配置

这里可以直接使用桥接模式，然后使用

dhclient -r  //释放ip
dhclient  //自动获取ip
ip addr //查询IP信息

最终达到的效果就是互相之间可以ping通。当然也可以配置静态ip，随意。

修改主机名

hostnamectl set-hostname master  //作为namenode服务器

其他的主机名分别为slave1、slave2、slave3。

关闭防火墙

systemctl stop firewalld  //关闭防火墙
systemctl disable firewalld  //关闭开机自启
Firewall-cmd --state  //查看防火墙状态

配置域名映射

首先在master上配置，

vi /etc/hosts

然后添加上你对应的ip和主机信息

192.168.8.130 master
192.168.8.131 slave1
192.168.8.132 slave2
192.168.8.129 slave3

并将hosts拷贝到其他三台数据服务器中。这里可以使用scp命令

scp hosts slave1:$PWD //需要切换到/etc目录下执行，否则复制不到指定目录
scp hosts slave2:$PWD
scp hosts slave3:$PWD

测试一下。

上传安装jdk

上传jdk安装包到master的/root目录下，然后使用scp命令将jdk安装包发送到其他三台服务器

scp jdk-8u60-linux-x64.gz slave1:$PWD
scp jdk-8u60-linux-x64.gz slave2:$PWD
scp jdk-8u60-linux-x64.gz slave3:$PWD

对四台服务器上的jdk压缩包解压

tar -zxvf jdk-8u60-linux-x64.gz

修改master的环境变量：/etc/profile

修改环境变量

vi /etc/profile

export JAVA_HOME=/root/jdk1.8.0_60/

export PATH=$PATH:$JAVA_HOME/bin

将修改后的profile文件scp到其他服务器

使配置文件生效

source /etc/profile

 java -version测试环境变量是否生效。

安装HDFS

上传hadoop的安装包到master服务器。我这里上传的位置还是/root目录下。

解压

tar -zxvf hadoop-2.8.5.tar.gz

修改hadoop-env.sh

如果你上传的也是/root目录下，那么配置文件在/root/hadoop-2.8.5/etc/hadoop/目录下

export JAVA_HOME=/root/jdk1.8.0_60/</