1.首先用hdfs namenode -format和start-all.sh启动Hadoop
2.使用HDFS运行WordCount程序
(1).在云端创建一个/data/input的文件夹结构
bin/hdfs dfs -mkdir -p /data/input
(2).在本地创建一个test.txt
touch test.txt
(3).编辑test.txt文件,输入一些字符
nano test.txt
3.把本地的test.txt文件上传到云端,由主机进行文件的分布式存储。
bin/hdfs dfs -put test.txt /data/input
4.运行share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar这个java程序,调用wordcount方法:
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /data/input/test.txt /data/out/test
查看云端的/data/output/test/part-r-00000文件。
bin/hdfs dfs -cat /data/out/test/part-r-00000
Hadoop运行wordcount示例
最新推荐文章于 2022-09-30 17:00:46 发布