初学者都会使用,Hadoop经典案例单词统计Demo演示

前言

学习Hadoop的第一案例,大家都喜欢使用单词统计demo
该功能的实现,使用了hadoop自带的jar包:hadoop-mapreduce-examples-2.7.4.jar

准备工作

请阅读文章 https://www.bilibili.com/read/cv7591643

步骤

1 打开HDFS的UI界面,查看HDFS中是否有数据文件,默认是没有数据文件。

2 准备文本文件,在Linux系统上编辑一个文本文件,然后上传至HDFS上。

#在linux系统中创建一个目录,创建一个文件,写点内容
mkdir -p /export/data
cd /export/data
vi word.txt (写点内容)
#将该文件上传到hdfs中目录下: /wordcount/input/
hadoop fs -mkdir -p /wordcount/input
hadoop fs -put /export/data/word.txt /wordcount/input/

3 运行hadoop-mapreduce-examples-2.7.4.jar包,实现词频统计。

重要

务必要关闭所有机器hadoop01,hadoop02,hadoop03的防护墙,不然执行会报错

hadoop jar hadoop-mapreduce-examples-2.7.7.jar  wordcount /wordcount/input /wordcount/output

4 查看UI界面,Yarn集群UI界面出现程序运行成功的信息。HDFS集群UI界面出现了结果文件。

总结

通过这样的demo,可以初次体验Hadoop的应用。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值