以下命令均在/usr/local/hadoop下执行
为了简化命令以及便于区分不同用户,最好上传到家目录!
如果上传在根目录:bin/hadoop fs -lsr /
如果上传在家目录:bin/hadoop fs -lsr /user/hadoop
6. 查看output文件夹内的输出结果(part-r-00000是output文件夹中的最后一个文件也就是最新创建的文件,即输出结果,文件名称因人而异)
如果上传在根目录:bin/hadoop fs -tail /output/part-r-00000
如果上传在家目录:bin/hadoop fs -tail output/part-r-00000 = bin/hadoop fs -tail /user/hadoop/output/part-r-00000
1. 新建文件夹input,新建文件input/file.txt
mkdir input
echo "hello world hello hadoop" >>input/file.txt
2. 启动HDFS
./sbin/start-dfs.sh
以下所有的bin/都可以省略,因为环境变量里已经配置好了。
以下所有的bin/都可以省略,因为环境变量里已经配置好了。
3. 将input文件夹上传至hdfs
上传到hdfs文件系统的根目录:bin/hadoop fs -put ./input /
或
创建家目录:bin/hadoop fs -mkdir /user/hadoop
创建家目录:bin/hadoop fs -mkdir /user/hadoop
上传到hdfs文件系统的家目录:bin/hadoop fs -put ./input /user/hadoop
为了简化命令以及便于区分不同用户,最好上传到家目录!
4. 执行(这个wordcount是HDFS自带的实例)
如果上传在根目录:
如果上传在根目录:
bin/hadoop
jar wordcount ./share/hadoop/mapreduce/
hadoop-mapreduce-example-2.7.1.jar /input /output
如果上传在家目录:
bin/hadoop
jar wordcount ./share/hadoop/mapreduce/
hadoop-mapreduce-example-2.7.1.jar input output
5. 以递归的方式查看HDFS上所有文件(包括文件夹内的文件)
如果上传在根目录:bin/hadoop fs -lsr /
如果上传在家目录:bin/hadoop fs -lsr /user/hadoop
6. 查看output文件夹内的输出结果(part-r-00000是output文件夹中的最后一个文件也就是最新创建的文件,即输出结果,文件名称因人而异)
如果上传在根目录:bin/hadoop fs -tail /output/part-r-00000
如果上传在家目录:bin/hadoop fs -tail output/part-r-00000 = bin/hadoop fs -tail /user/hadoop/output/part-r-00000