基于vmware workstations 10 、centos6.4和hadoop-2.7.1的hadoop完全分布式集群的开发环境搭建

1. 准备安装包

环境：win10 64位

Vmware 10

Centos 6.4

jdk-7u80-linux-x64.rpm

Hadoop-2.7.1.tar.gz

Eclipse-java-neon-R-linux-gtk-x86_64.tar.gz

Hadoop-eclipse-plugin-2.7.1.jar

 

2. 安装vmware workstations，新建虚拟机master，一路enter

 

3. 安装jdk

3.1. sudo rpm -ivh jdk-7u80-linux-x64.rpm

3.2. 设置java环境变量

sudo gedit /etc/profile

在最后面增加：

#set java environment

export JAVA_HOME=/usr/java/jdk1.7.0_05  //注意若下载了其他版本，注意变通

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

export JAVA_HOME CLASSPATH PATH

3.3. 验证java环境变量

echo $JAVA_HOME

 

4. 安装hadoop

4.1. 解压

tar -zxvf /usr/mywork/package/hadoop-2.7.1.tar.gz -C /usr/mywork/software

4.2. 配置环境变量

udo gedit /etc/profile

# set hadoop environment

export HADOOP_HOME=/usr/mywork/software/hadoop-2.7.1

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

生效：source /etc/profile

4.3. 验证环境变量

echo $HADOOP_HOME

4.4. 修改配置

4.4.1. 修改core-site.xml的内容

<configuration>

  <property>

    <name>fs.default.name</name>

    <value>hdfs://master:9000</value>

  </property>

  <property>

    <name>hadoop.tmp.dir</name>

    <value>file:/usr/mywork/software/hadoop-2.7.1/tmp</value>

  </property>

</configuration>

4.4.2. 修改hdfs-site.xml

<configuration>

  <property>

    <name>dfs.replication</name>

    <value>2</value>

  </property>

  <property>

    <name>dfs.namenode.name.dir</name>

    <value>file:/usr/mywork/software/hadoop-2.7.1/dfs/name</value>

  </property>

  <property>

    <name>dfs.datanode.data.dir</name>

    <value>file:/usr/mywork/software/hadoop-2.7.1/dfs/data</value>

  </property>

</configuration>

4.4.3. 修改 Mapred-site.xml

<configuration>

  <property>

    <name>mapred.job.tracker</name>

    <value>master:9001</value>

  </property>

</configuration>

4.4.4. 修改Yarn-site.xml

<configuration>

 

<!-- Site specific YARN configuration properties -->

  <property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

  </property>

  <property>

    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

    <value>org.apache.hadoop.mapred.ShuffleHandler</value>

  </property>

  <property>

    <name>yarn.resourcemanager.address</name>

    <value>master:8032</value>

  </property>

  <property>

    <name>yarn.resourcemanager.scheduler.address</name>

    <value>master:8030</value>

  </property>

  <property>

    <name>yarn.resourcemanager.resource-tracker.address</name>

    <value>master:8031</value>

  </property>

  <property>

    <name>yarn.resourcemanager.admin.address</name>

    <value>master:8033</value>

  </property>

  <property>

    <name>yarn.resourcemanager.webapp.address</name>

    <value>master:8088</value>

  </property>

</configuration>

4.4.5. 修改slaves文件（/etc/hadoop/slaves）

slave1

slave2

4.5. 修改主机名

sudo hostname master

sudo gedit /etc/sysconfig/network打开文件，设置 hostname=master

reboot #重启生效  

4.6. 绑定hostname与ip

sudo gedit /etc/sysconfig/network #打开文件，添加如下内容

192.168.10.100         master

192.168.10.101         slave1

192.168.10.102         slave2

 

4.7. 关闭防火墙

service iptables stop #关闭当前的防火墙

service iptables status #查看防火墙状态，验证是否关闭

chkconfig iptables off #永久关闭防火墙

chkconfig --list |grep iptables #检查防火墙设置是否关闭

 

5. 设置虚拟机的ip为静态ip（http://www.cnblogs.com/baiboy/p/4639474.html）

5.1. 本地设置

设置vmnet1 的ipv4地址为 192.168.10.1

5.2. 在vmware中设置

右键master虚拟机 -- 设置 -- 硬件 -- 网络适配器 -- 仅主机模式

5.3. 设置虚拟机

虚拟机桌面右上角，右键 -- 编辑连接 -- 编辑 -- ipv4设置 -- 添加

（地址 192.168.10.100 子网掩码 255.255.255.0 网关 192.168.10.1）

 

6. 克隆虚拟机slave1和slave2，按照上述方法修改主机名为slave1和slave2，修改虚拟机的静态ip为192.168.10.101和192.168.10.102

 

7. 配置ssh免密码连接（三台虚拟机都开机）

7.1. 使用absolutetelnet登录master虚拟机

7.2. 生成空密码密钥对

ssh-keygen -t rsa -P ‘’ -f /home/zls/.ssh/id_rsa

7.3. 在本机上生成authorized_keys，并验证能否对本机进行SSH无密码登陆

cd /home/zls/.ssh

cat id_rsa.pub >> authorized_keys

chmod 600 authorized_keys #修改文件的权限

ssh localhost #能登录成功说明秘钥是成功的

7.4. 使用absolutetelnet登录slave1虚拟机，如上生成秘钥

ssh-copy-id -i id_rsa.pub master #把公钥拷贝到maste并加入到master的授权key

7.5. 对slave2做7.4的对应操作

7.6. 登录master虚拟机

scp authorized_keys slave1:/home/zls/.ssh/;scp authorized_keys slave1:/home/zls/.ssh/

7.7. 通过absolutetelnet验证集群中各虚拟机之间的无密码登录

ssh master;

ssh slave1;

ssh slave2;

ssh master;

ssh slave1;

ssh slave2;

ssh slave1;

ssh master;

 

至此，hadoop集群的配置基本完成

参考 http://www.cnblogs.com/baiboy/p/4639474.html