Hadoop配置手册2: 测试Hdfs和WordCount测试

Hadoop配置手册2

Date: September 26, 2022

---

第3章 测试Hdfs和WordCount测试

任务浏览：

3.1 Hdfs测试

1. 在HDFS文件系统上创建一个文件夹

cd /usr
mkdir data/
vim 1.txt

1. 并上传一个测试文件

hadoop fs -put /usr/data/1.txt /test

1. 查看上传文件是否正确

http://192.168.8.130:50070/explorer.html#/

常用hadoop指令：

在hadoop指定目录内创建新目录

hadoop fs –mkdir /user/t
//eg  hadoop fs -mkdir - p /user/centos/hadoop

从linux上传文件到hdfs中

hadoop fs -put 1.txt /user
//将当前linux目录下的1.txt文件，上传到/user(hdfs服务器上的user目录下)

将本地文件/文件夹存储至hadoop

hadoop fs –put [本地目录] [hadoop目录]
//eg  hadoop fs –put /home/t/file.txt /user/t

将hadoop上某个文件down至本地已有目录下

hadoop fs -get [文件目录] [本地目录]
//eg  hadoop fs –get /user/t/ok.txt /home/t

查看文件内容: text/-cat

hadoop fs -text /hello

hadoop fs -cat /hello

3.2 WordCount测试

1. 找到hadoop自带的jar包

//我的jar路径
/usr/hadoop/hadoop-2.10.1/share/hadoop/mapreduce
//我的jar包版本
hadoop-mapreduce-examples-2.10.1.jar

注意：由于版本可能不同，建议自己在这个位置附近找找

1. 在linux本地创建文件

vim /tmp/wordcount.txt

注：自己随便写点东西进去，最好重复几行

1. 在云端创建文件夹

hadoop fs –mkdir /test_wordcount

1. 将本地文件上传到云端

hadoop fs -put /tmp/wordcount.txt /test_wordcount

1. Hadoop中检查文件

http://192.168.8.130:50070/explorer.html#/

1. 运行程序：单词记录频次

hadoop jar /usr/hadoop/hadoop-2.10.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.1.jar wordcount /test_wordcount/wordcount.txt /wordcount_output

hadoop jar /usr/hadoop/hadoop-2.10.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.1.jar wordcount /test_wordcount/wordcount.txt /wordcount_output

注1：这里一定要先cd到 ……bin/hadoop 下才能执行 hadoop

注2：命令最后的/wordcount_output是系统生成的用于输出的文件夹，这个文件夹提前新建会报错

运行结果：

看到最后的successfully， 就代表成功了

1. 查看输出结果

hadoop fs -cat /wordcount_output/*

心得：命令的参数的功能自己一定要清楚，不能一味照抄