vmware方式搭建hadoop-1.2.1 集群

Linux节点搭建

1、安装vmware

2、打开虚拟机，选择本地虚拟机文件（文章最后附件）

3、网络配置，删除vmnet8，增加一个vmnet8

4、选择桥接模式

5、再切换到net模式

6、修改文件：

cd /etc/sysconfig/network-scripts/

vi ifcfg-eth0

DEVICE="eth0"

BOOTPROTO="static"

NM_CONTROLLED="yes"

ONBOOT="yes"

TYPE="Ethernet"

IPADDR=192.168.37.10

NETMASK=255.255.255.0

GATEWAY=192.168.37.2

DNS1=202.106.0.20

7、重启网络服务

/etc/init.d/network restart

=======================

下一步使用xshell链接虚拟机

问题1：乱码问题

修改xshell设置，改为linux

hadoop集群安装准备：

多台虚拟机：

1、复制本地虚拟机，复制本地虚拟机文件夹

2、修改本地虚拟机文件夹名称

3、修改虚拟机vmware上的虚拟机名称

4、修改slave1和slave2上的ip

5、修改之后发现slave1和slave2不能上网

需要卸载slave1和slave2上的网卡

方法是：虚拟机设置，将网络适配器进行移除；然后重新添加一个。

二、安装Java环境

2.1 vmware设置共享文件夹：虚拟机-》设置-》选项-》增加共享文件夹

查看: cd /mnt/hgfs/

2.2 拷贝到/usr/local/src 下

2.3 执行jdk

./jdk-6u45-linux-x64.bin

【注】：这个操作最好不要中断

2.4 修改环境变量

vi ~/.bashrc

export JAVA_HOME=/usr/local/src/jdk1.6.0_45

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

2.5 复制jdk到另外两个节点

scp -rp jdk-6u45-linux-x64.bin 192.168.37.11:/usr/local/src/

scp -rp jdk-6u45-linux-x64.bin 192.168.37.12:/usr/local/src/

三、安装hadoop

1、解压缩

tar xvfz hadoop-1.2.1-bin.tar.gz

2、在hadoop目录下增加tmp目录，用于存放临时文件

3、配置，进入conf目录

修改master

修改内容为master

修改slave文件

修改内容为slave1,slave2;

3、修改core-size.xml

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/src/hadoop-1.2.1/tmp</value>

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://192.168.37.10:9000</value>

</property>

</configuration>

4、修改 mapred-site.xml

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>http://192.168.37.10:9001</value>

</property>

</configuration>

5、修改hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>3</value>

</property>

</configuration>

6、修改hadoop-env.sh

在文件最后添加：

export JAVA_HOME=/usr/local/src/jdk1.6.0_45

7、本地网络配置：

修改/etc/hosts文件

最后添加：

192.168.37.10 master

192.168.37.11 slave1

192.168.37.12 slave2

使hostname生效

临时生效命令：hostname master

永久生效：修改/etc/sysconfig/network

修改为：HOSTNAME=master

8、远程拷贝到slave1和slave2

scp -rp hadoop-1.2.1 192.168.37.11:/usr/local/src/

scp -rp hadoop-1.2.1 192.168.37.12:/usr/local/src/

9、检验slave1和slave2上的文件是否正确

10、修改slave1和slave2上的hostname

1. 修改slave1和slave2的/etc/hosts文件

2. 修改slave1和slave2的/etc/sysconfig/network

11、所有节点关闭防火墙

1.iptables

/etc/init.d/iptables stop

检查是否关闭：iptables -L

2.selinux

setenforce 0

检验：getenforce

免密码登录节点

建立节点的互信关系，不用输入密码，免密码登录

master节点执行：

ssh-keygen

进入目录：cd ~/.ssh/

执行命令拷贝公钥内容到文件：cat id_rsa.pub > authorized_keys

在slave1节点上执行

ssh-keygen

进入目录：cd ~/.ssh/

复制公钥内容给master上的authorized_keys：cat id_rsa.pub

在slave2节点上执行

ssh-keygen

进入目录：cd ~/.ssh/

复制公钥内容给master上的authorized_keys：cat id_rsa.pub

在master上把authorized_keys复制到slave1和slave2

scp authorized_keys slave1:~/.ssh/

scp authorized_keys slave2:~/.ssh/

启动

1、格式化

cd /usr/local/src/hadoop-1.2.1/bin

./hadoop namenode -format

2、启动./start-all.sh

附件：centos-6.5虚拟机镜像

链接：https://pan.baidu.com/s/1hseXY2C 密码：dm5c