hadoop-2.7.1环境搭建

具体搭建步骤见博客：http://www.bubuko.com/infodetail-1447859.html

此处我只是将hadoop2.7.2改成了hadoop2.7.1

不同之处：在单机模式下运行”grep/WordCount”等例子读取的是ubuntu的ext4中的本地数据，而伪分布式读取的是HDFS上的数据。为了使用HDFS，需要在HDFS中创建用户目录，增查删改文件和目录。

hdfs dfs –mkdir –p /usr/hadoop        //在HDFS创建hadoop用户

hdfs dfs –mkdir /input                          //新建hadoop用户后自动转到其目录下，现在新建input目录，在hadoop目录下

hdfs dfs –put ./etc/hadoop/*.xml /input             //将ubuntu的ext4目录下的xml文件拷贝到hdfs的hadoop/input目录下

        hdfsdfs –ls /input                                  //复制完成后，查看文件列表

         运行例子代码后，假定将输出放在output文件夹里了。

        hdfs dfs –cat /output/*                        //查看hdfs上的结果

        hdfs dfs –get /output ./output           //将HDFS上的output文件夹拷贝到本机

        hdfs dfs –rm –r /output                       //删除HDFS上的output文件夹

注：伪分布式模式运行的MapReduce作业的方式跟单机模式相同，但区别在于伪分布式读取的是HDFS中的文件，而不是ubuntu的ext4下的output和input目录。