Hadoop运行wordcount示例

1.首先用hdfs namenode -format和start-all.sh启动Hadoop
在这里插入图片描述
2.使用HDFS运行WordCount程序
(1).在云端创建一个/data/input的文件夹结构
bin/hdfs dfs -mkdir -p /data/input
(2).在本地创建一个test.txt
touch test.txt
(3).编辑test.txt文件,输入一些字符
nano test.txt
在这里插入图片描述
3.把本地的test.txt文件上传到云端,由主机进行文件的分布式存储。
bin/hdfs dfs -put test.txt /data/input在这里插入图片描述
4.运行share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar这个java程序,调用wordcount方法:
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /data/input/test.txt /data/out/test
查看云端的/data/output/test/part-r-00000文件。
bin/hdfs dfs -cat /data/out/test/part-r-00000
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值