这是本人初学搭建hadoop的配置步骤,比较适合新手参考,高手可帮忙矫正此文,不甚感激。
实验环境说明:使用的虚拟机软件是VMware Workstation 12 Pro
虚拟机操作系统版本是CentOS6.7
JDK版本是jdk-7u79-linux-x64.rpm
hadoop版本是hadoop-1.0.0.tar.gz
(如果需要以上文件,可留言与本人联系)
1 环境说明
集群包括3个节点,这个三个节点是用户名为hadoop-un的安装有CentOS6.7系统的虚拟机,这里虚拟机的安装过程略去。三个节点中,1个master节点,2个slave节点,节点之间通过局域网连接,可以相互ping通。节点IP地址设置如下:
master主机主要配置Namenode和JobTracker的角色,负责总管分布式数据和分解任务的执行;2个slave主机配置Datanode和JobTracker的角色,负责分布式数据存储以及任务的执行。
2 网络配置
2.1 修改主机名
这里以master主机为例说明网络配置过程,另外两个主机的配置过程与master的配置过程相同。为了方便管理使用,先修改主机的hostname。
先通过如下命令查看当前主机名: