hadoop的部署方式有三种:本地模式、伪分布模式、集群模式。本地模式是要求本地操作系统是linux系统,在本地直接进行hadoop的部署,这样部署出的hadoop开发环境是集主节点和从节点于一身的。这样不利于hadoop后续分布式的学习。通过创建虚拟机来搭建hadoop的部署环境,可以相继完成伪分布模式和集群模式。我用的虚拟机版本是VMware12,linux版本是CentOS。现把伪分布模式搭建流程做如下记录。
hadoop伪分布式环境搭建遵循五个步骤:,
关闭防火墙
修改主机名
设置SSH自动登录
安装JDK
安装hadoop
1. 新建虚拟机,命名为hadoop0,密码是123456。如果本地电脑通过无线连接到网络,记得虚拟机连接网络方式设置为桥接
2. 用xShell或者secureCRT远程连接到三台服务器上,便于操作。本人使用的是xShell
3. 通过用户名root身份连接到虚拟机上。
4. 关闭防火墙:执行命令service iptables stop,验证防火墙是否关闭:service iptables status。当下次登录该系统,防火墙会自动打开。所以还要执行如下命令:chkconfig iptables off(关闭防火墙的自动运行),验证:chkconfig --list | grep iptables
5. 修改主机名:修改hostname为 hadoop0。修改主机名配置文件:vi /etc/sysconfig/network 修改HOSTNAME=hadoop0。重启系统:reboot
6. 将ip与hostname绑定:执行命令:vi /etc/hosts。增加行ip hostname。
7. 设置SSH免密码登录:执行命令:
1)ssh-keygen -t rsa
2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys。
3)验证:ssh hadoop0,这个时候如果不用设置密码就能登录到系统,说明免密码设置成功。
8. 安装JDK:因为我用的hadoop版本是1.1.2的,这里用的jdk版本也只是jdk-6u24-linux-i586.bin。通过WinSCP远程连接到linux系统上,做所需jdk、hadoop上传,默认放到linux文件夹/usr/local下。现做执行命令操作:
1)cd /usr/local
2)chmod u+x jdk-6u24-linux-i586.bin
3)./jdk-6u24-linux-i586.bin
4)mv jdk-1.6.0_24 jdk
5)vi /etc/profile增加内容如下:
export JAVA_HOME=/usr/local/jdk
export PATH=.:$JAVA_HOME/bin/:$PATH如果缺少$PATH,系统会识别不出所有命令
6)验证jdk是否安装成功:java -version
9. 安装hadoop,执行如下命令:
1)解压:tar -zxvf hadoop-1.1.2.tar.gz
2)mv hadoop-1.1.2 hadoop
3)vi /etc/profile 增加如下内容:
export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop