具体搭建步骤见博客:http://www.bubuko.com/infodetail-1447859.html
此处我只是将hadoop2.7.2改成了hadoop2.7.1
不同之处:在单机模式下运行”grep/WordCount”等例子读取的是ubuntu的ext4中的本地数据,而伪分布式读取的是HDFS上的数据。为了使用HDFS,需要在HDFS中创建用户目录,增查删改文件和目录。
hdfs dfs –mkdir –p /usr/hadoop //在HDFS创建hadoop用户
hdfs dfs –mkdir /input //新建hadoop用户后自动转到其目录下,现在新建input目录,在hadoop目录下
hdfs dfs –put ./etc/hadoop/*.xml /input //将ubuntu的ext4目录下的xml文件拷贝到hdfs的hadoop/input目录下
hdfsdfs –ls /input //复制完成后,查看文件列表
运行例子代码后,假定将输出放在output文件夹里了。
hdfs dfs –cat /output/* //查看hdfs上的结果
hdfs dfs –get /output ./output //将HDFS上的output文件夹拷贝到本机
hdfs dfs –rm –r /output //删除HDFS上的output文件夹
注:伪分布式模式运行的MapReduce作业的方式跟单机模式相同,但区别在于伪分布式读取的是HDFS中的文件,而不是ubuntu的ext4下的output和input目录。