Linux 环境下运行hadoop 的wordcount 程序

最新推荐文章于 2021-05-13 07:30:38 发布

秋月丹青

最新推荐文章于 2021-05-13 07:30:38 发布

阅读量2.4k

点赞数 1

分类专栏：大数据文章标签： wordcount hadoop linux

本文链接：https://blog.csdn.net/qq_22830285/article/details/84143774

版权

本文介绍了在Linux系统中运行Hadoop的WordCount程序的步骤。首先创建HDFS的input目录，然后上传文本文件，最后执行wordcount任务，结果保存在output目录的part-r-00000文件中。

摘要由CSDN通过智能技术生成

我相信每个人部署完hadoop 环境之后，都想运行一下程序，就比如学习java的时候，配置好环境变量，就想运行一下程序输出一个hellop word。
wordcount程序，统计文本中的字符出现次数。本次，主要目的是在liunx运行一下wordcount,看看输出的效果。下一篇会介绍在win系统下链接linux hadoop 集群，运行wordcount,并理解hadoop 的mapreduce组件。
hadoop 集群搭建请移步：https://mp.csdn.net/mdeditor/84073712
第一步：hdfs系统创建input 目录。
hadoop fs -mkdir input
第二步：上传需处理的文件到hadoop的hdfs系统
本地创建 a.txt,b.txt 文件，将文件上传到hadoop的hdfs系统上。
我的a.txt，和b.txt 反正test目录下。
hadoop -fs -put test/a.txt input
hadoop -fs -put test/b.txt input
在这里插入图片描述
可以看到 a.txt 和 b.txt的内容。