四、hdfs命令简单使用和mapreduce例子测试

1、hdfs使用

$ hdfs dfs -ls / # 查看hdfs文件系统中根目录

$ hdfs dfs -mkdir /wc/input # 在根目录下创建一个目录wc    # 上传文件到hdfs文件系统中

$ hadoop fs /usr/local/hadoop-2.9.0/etc/hadoop/*.xml /wc/input

2、mapreduce例子运行

运行测试例子:

$ cd  /usr/local/hadoop-2.9.0/share/hadoop/mapreduce/

$ hadoop jar hadoop-mapreduce-examples-2.9.0.jar wordcount /wc/input /wc/output

1)页面查看

访问master:8088,查看到任务。

点击Utillities/Browse the file system---->输入/---->进入 wc---->output---->part-r-00000(计算过程查看)---->Head the file---->tail the file

2)命令查看

$ hadoop fs -ls /wc/output/

$ hadoop fs -text /wc/output/part-r-00000 # 查看文本文件(推荐)

或者

$ hadoop fs -cat /wc/output/part-r-00000


  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值