配置过程:
序言:
本文档中所有例子均基于以下环境
安装环境:
Ubuntu8+jdk1.6.0_33+hadoop-1.0.3
实体机
机器名IP角色
ZTECloud000010.8.1.18namenode、master、jobTracker
ZTECloud000110.8.1.19dataNode、slave、taskTracker
ZTECloud000210.8.1.20dataNode、slave、taskTracker
1. 主机名配置
通过光盘启动后主机名为ZTECloud0000后面编号依次递增
1.1 修改主机名:(其中xxxxx为原来的主机名,newhostname为新主机名)
1) sudo -i
2) 输入密码:zteroot819
3) vi /etc/hosts将 127.0.1.1 xxxxx修改为 127.0.1.1 newhostname
4) vi /etc/hostname将文件内容改为newhostname
5) 运行命令hostname xxxx
6) su adt 会看到主机名已经修改
1.2 配置集群环境主机信息
1) sudo vi /etc/hosts
2) 输入密码:ateroot819
2) 将集群中的机器以ip hostname每行一个的格式填写,形如:
127.0.0.1 localhost ---本机原有信息
127.0.1.1 ZTECloud0000 ---本机主机名
10.8.1.18 ZTECloud0000 ---本机ip
10.8.1.19 ZTECloud0001 ---集群中slave1
10.8.1.20 ZTECloud0002 ---集群中 slave2
2. 网络配置
1.1 配置IP
1) sudo -i 后输入密码zteroot819 -----进入root用户
2) vi /etc/network/interfaces修改ip、netmask(掩码)、gateway(网关)信息
形如:
1.2 配置DNS
1.2.1 创建resolv.conf
1) touch /run/resolvconf/resolv.conf
2) cd /etc
3) ln -s /run/resolvconf/resolv.conf resolv.conf
1.2.2 修改DNS
1) sudo vi /etc/resolv.conf
2) 改dns形如:
1.3 服务操作(修改配置后需重启服务)
/etc/init.d/networking -restart -----修改网络信息后重启服务
附:/etc/init.d/networking -start ----开启网络服务
/etc/init.d/networking -stop -----关闭网络服务
3. Hadoop配置
3.1 修改配置文件
3.1.1 sudo vi /usr/hadoop-1.0.3/conf/core-site.xml -------下面红色部分改为master ip
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://10.8.1.18:9000</value> ---xxxxxx表master ip
</property>
</configuration>
3.1.2 sudo vi /usr/hadoop-1.0.3/conf/mapred-site.xml ------ 标注部分改为master ip
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>10.8.1.18:9001</value>
</property>
</configuration>
3.1.3 sudo vi /usr/hadoop-1.0.3/conf/masters -------改为master的hostname
ZTECloud0000
3.1.4 sudo vi /usr/hadoop-1.0.3/conf/slaves -----将集群中的每台机器的hostname每行 一个填写,形如:
ZTECloud0000
ZTECloud0001
ZTECloud0002
3.2 实现nameNode无密码登陆其他DataNode
4. Hazelcast配置
sudo vi /usr/hazelcast-2.1.2/bin/hazelcast.xml
<tcp-ip enabled="true">
<interface>10.8.1.18</interface>
<interface>xx.xx.xx.xx</interface>
<interface>xx.xx.xx.xx</interface>
∶
∶
</tcp-ip>
5. 简单测试
配置后请做以下测试,如测试未通过请仔细查看配置文件的信息
5.1 hadoop测试
在master上输入jps
会看到以下内容
5.2 hazelcast测试
任意一台集群机上运行./run.sh后,输入who会看到hazelcast.xml tcp-ip中配置的所有<interface>ip信息