首先进行hadoop集群的hdfs,yarn等的相关配置,配置成功之后。进行如下操作:
1 启动Hadoop
执行命令启动前面实验部署好的Hadoop系统。
[root@master ~]# cd /usr/cstor/hadoop/
[root@master hadoop]# sbin/start-all.sh

使用jps 分别查看master的Java进程如下:

使用jps 分别查看其他slave1-4服务器上的Java进程如下:

有如上信息说明Hadoop集群搭建成功。
停止进程操作:
[root@master ~]# cd /usr/cstor/h
hadoop/ hbase/ hive/
[root@master ~]# cd /usr/cstor/hadoop
[root@master hadoop]# cd sbin
[root@master sbin]# ll
[root@master sbin]# ./stop-all.sh
2.1 验证HDFS上没有/user/mapreduce/secsort/in的文件夹
[root@master ~]# cd /usr/cstor/hadoop/
[root@master hadoop]# bin/hadoop fs -ls / #查看HDFS上根目录文件 /
此时HDFS上应该是没有/user/mapreduce/secsort/in文件夹。
![]()
2.2 准备数据
输入数据如下:secsortdata.txt ('\t'分割)(数据放在/root/data/6目录下):
查看

本文档详细介绍了如何在Hadoop环境下使用MapReduce进行二次排序。从启动Hadoop集群开始,逐步讲解验证HDFS目录、准备数据、上传数据、编写IntPair和SecondarySort程序、打包及运行程序的全过程,并在最后展示了运行结果和可能出现的问题及其解决方案。

最低0.47元/天 解锁文章

被折叠的 条评论
为什么被折叠?



