HDFS文件上传,命令行模式执行WordCount自带实例

                以下命令均在/usr/local/hadoop下执行

     1. 新建文件夹input,新建文件input/file.txt
mkdir input
echo "hello world hello hadoop" >>input/file.txt

     2. 启动HDFS
./sbin/start-dfs.sh

以下所有的bin/都可以省略,因为环境变量里已经配置好了。
     3. 将input文件夹上传至hdfs
上传到hdfs文件系统的根目录:bin/hadoop fs -put ./input /

创建家目录:bin/hadoop fs -mkdir /user/hadoop
上传到hdfs文件系统的家目录:bin/hadoop fs -put ./input /user/hadoop

为了简化命令以及便于区分不同用户,最好上传到家目录!
     4. 执行(这个wordcount是HDFS自带的实例)
     如果上传在根目录:
bin/hadoop jar wordcount ./share/hadoop/mapreduce/ hadoop-mapreduce-example-2.7.1.jar /input /output
     如果上传在家目录:
bin/hadoop jar wordcount ./share/hadoop/mapreduce/ hadoop-mapreduce-example-2.7.1.jar input output
     5.  以递归的方式查看HDFS上所有文件(包括文件夹内的文件)
     如果上传在根目录:bin/hadoop fs -lsr /
     如果上传在家目录:bin/hadoop fs -lsr /user/hadoop
     6.  查看output文件夹内的输出结果(part-r-00000是output文件夹中的最后一个文件也就是最新创建的文件,即输出结果,文件名称因人而异)
     如果上传在根目录:bin/hadoop fs -tail /output/part-r-00000
     如果上传在家目录:bin/hadoop fs -tail output/part-r-00000  =  bin/hadoop fs -tail /user/hadoop/output/part-r-00000
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值