Ubuntu16.04 上运行 Hadoop2.7.3 自带example wordCount摸索记录

首先最最重要的写在最前面,也是我觉得个人踩得最深的坑,刚接触hadoop的人,缺少的认识:
hdfs的理解:它是一个文件系统,跟linux的文件系统是类似的结构,拥有类似的语法,大概就是你在linux上ls查看文件列表,那么hdfs的无非就是hadoop fs -ls。 hadoop的输入输出,都是从hdfs读取和写入的,那么比如运行hadoop的word count例子的时候, 网上各种大坑教程中完全都没有提到要先自己准备几个input文件,文本文档随便打几个字就好,并且把文件上传到hdfs系统中:这么做的原因在理解了hdfs后很显然了--hadoop的输入输出都在hdfs中,而且例子里的命令指定的目录,指定的也是hdfs中的文件夹路径。所以网上各种治标不治本的exception explanation再回过头来看,完全就是在给新人挖坑!(不过可能别人写的时候都以为你知道,但是只有我知道我不知道而且你也不知道,话说还在运行hadoop自带例子的人能对hadoop有多么深刻的理解呢,佩服大神们的逻辑)
辣么,让我们从头来一遍:(我个人有把${hadoop_install}/bin加入path
  • 4
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值