Hadoop集群安装及验证

Hadoop集群安装及验证

1、这里我们搭建一个由三台机器组成的集群：

192.168.166.129     hadoop/hadoop      master

192.168.166.130     hadoop/hadoop      slave1

192.168.166.131     hadoop/hadoop      slave1

上面各列分别为IP、user/passwd、hostname

Hostname可以在/etc/hostname中修改hostname，对于三台机器都需要修改：

下面是master的修改：通过命令vi /etc/hosts 实现 

查看并修改ip地址

2、设置ssh免密码登陆

建立了单向免密码登录，在另外两台虚拟机上进行同样操作，建立双向免密码登录，建立成功后结果如下图所示：

3、关闭防火墙

4、在安装CentOS时，我们选择了一些基本安装包，所以我们需要两个服务：ssh和rsync已经安装了。可以通过下面命令查看结果显示如下：

rpm –qa | grep openssh

rpm –qa | grep rsync

5、用root用户登录服务器修改SSH配置文件”/etc/ssh/sshd_config"的下列内容

然后修改文件夹“.ssh”的用户权限，把他的权限修改为“700”，用下面的命令执行

6、安装Hadoop

7、修改Hadoop的配置文件

cd /usr #进入"/usr"目录

tar –zxvf hadoop-2.7.2.tar.gz #解压"hadoop-2.7.2.tar.gz"安装包

mv hadoop-2.7.2 hadoop #将"hadoop-2.7.2"文件夹重命名"hadoop"

chown –R hadoop:hadoop hadoop #将文件夹"hadoop"读权限分配给hadoop用户

rm –rf hadoop-2.7.2.tar.gz                 #删除”hadoop-2.7.2.tar.gz"安装包

8、修改Hadoop-env.sh

9、修改yarn-env.sh

10、修改hdfs-site.xml配置文件

 

11、修改core-site.xml配置文件 

查看修改好的core-site.xml配置文件 

12、修改mapred-site.xml配置文件 

13、修改yarn-site.xml配置文件

 

14、修改masters和slaves 

 

15、上面配置完毕，我们基本上完成了90%，剩下就是复制。我们可以把整个hadoop复制过去：使用如下命令：sudo scp -r /usr/hadoop hadoop@slave1:~/复制到其他节点

查看/etc/profile文件的内容

16、格式化HDFS文件系统 hdfs namenode -format,出现successfully formatted为成功 

17、启动Hadoop 

 

18、验证，查看hadoop进程，master、slave节点分别用jps 

 

 

19、wordcount示例程序测试过程

首先，建立一个测试目录并查看该目录是否创建成功，然后建立测试文件text.txt如下图所示： 

 

将测试文件放到测试目录中，待测试文件导入后执行wordcount程序 

查看是否得到output文件，并查看out put文件夹里文件 

 

最后，查看output文件内容