前言
本文搭建了一个由两节点(master、slave0)构成的Hadoop伪分布式集群,Hadoop版本选取了hadoop2.8.1,本人主要初次搭建Hadoop集群,期间遇到了很多问题,花了好长时间,最终将问题解决,将其过程记录下来,希望能够帮助读者避免一些问题。
环境说明
- 操作系统:CentOS7
- jdk: jdk-8u60-linux-x64
- hadoop: hadoop-2.8.1(Hadoop: http://archive.apache.org/dist/hadoop/core,选择Hadoop2.8.1的安装包)
第一步:准备工作
1、安装虚拟机(VMware Workstation)
2、安装linux操作系统:虚拟机上安装操作系统CentOS7
1)从系统光盘安装CentOS7
2)从其他计算机移植安装
3)从本机克隆安装
3、集群配置:(master、slave0)
1)改变机名:命令:vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=master
命令:hostname master
命令:vi /etc/hostname
master
2)网络配置:(将前面的两行加注释)
命令:vi /etc/hosts
192.168.35.100 master.localdomain master
192.168.35.101 slaveO.localdomain slaveO
4、关闭防火墙
systemctl status firewalld.service #检查系统防火墙状态
systemctl stop firewalld.service # 关闭防火墙
systemctl disable firewalld.service #该命令使防火墙在下次启动计算机的时候取消防火墙服务。
5、卸载系统自带的java
命令:rpm -qa | grep java #查看系统安装java
命令:rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.101-3.b13.el7_2.x86_64 #删除自带的java(举例)
#rpm -e --nodeps java-1.8.0-openjdk-1.8.0.131-11.b12.el7.x86_64
#rpm -e --nodeps java-1.7.0-openjdk-1.7.0.141-2.6.10.5.el7.x86_64
#rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.131-11.b12.el7.x86_64