伪分布式运行mapreduce

在使用HDFS之前,需要保证hadoop处于运行状态

在HDFS中创建用户目录

./bin/hdfs dfs -mkdir -p /user/hadoop

在user/hadoop 中建立input文件夹,将etc/hadoop中的xml文件复制到input文件夹中作为输入文件

./bin/hdfs dfs -mkdir input
./bin/hdfs dfs -put ./etc/hadoop/*.xml input

复制完成后,可以通过命令查看文件列表

./bin/hdfs dfs -ls input

在这里插入图片描述
伪分布式运行mapreduce读取的是HDFS的文件

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'

利用命令查看运行结果,输出结果位于HDFS中

./bin/hdfs dfs -cat output/*

在这里插入图片描述
也可以将运行结果取到本地

rm -r ./output    # 先删除本地的 output 文件夹
./bin/hdfs dfs -get output ./output    
cat ./output/*

hadoop运行程序时,为了防止覆盖结果,程序指定的输出目录不能存在(如output),否则会提示错误,运行前要先删除output文件夹

./bin/hdfs dfs -rm -r output    # 删除 output 文件夹

在这里插入图片描述
如果需要关闭hadoop,运行

./sbin/stop-dfs.sh
  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值