MapReduce基本使用——wordcount

最新推荐文章于 2022-07-10 03:16:08 发布
最新推荐文章于 2022-07-10 03:16:08 发布
阅读量950 收藏 7
点赞数 1
分类专栏： hadoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42405169/article/details/120573307
版权

MapReduce基本使用——wordcount

背景：hadoop集群，确保HDFS组件能使用。
搭建过程可参考Ubuntu系统下安装Hadoop集群安装。

MapReduce提供了自带的Example，wordcount的功能是统计单词的数量，主要步骤如下：

1.在文件系统创建wordcount/input文件夹；

hdfs dfs -mkdir /wordcount/input

2.将内容为下图的input.txt文件上传到刚刚创建的文件夹；

I love runoob
I like runoob
I love hadoop
I like hadoop

hdfs dfs -put input.txt /wordcount/input

3.运行wordcount程序（share/hadoop/mapreduce）；

hadoop jar hadoop-mapreduce-examples-2.10.1.jar wordcount /wordcount/input /wordcount/output

4.显示运行结果，如图共有两个文件；

hadoop fs -ls /wordcount/output

在这里插入图片描述
5.显示文件内容；
在这里插入图片描述

菜狗丁丁
关注
  • 1
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MapReduce之Wordcount实现
10-22
Hadoop搭建 MapReduce之Wordcount代码实现 代码讲解，通俗易懂。
Wordcount -- MapReduce example -- Reducer
dingjuncui5546的博客
09-01 89
Reducer receives (key, values) pairs and aggregate values to a desired format, then write produced (key, value) pairs back into HDFS. E.g. Input: (term, [1, 1, 1, 1]) Output: (term, 4) Reducer ...
在eclipse上搭建mapreduce开发环境及运行wordcount
Mr.Cai
02-08 1万+
1.先说明我的实验环境： win7, eclipse版本是Neon.2 Release (4.6.2), hadoop2.7.3部署在1master，3slave的集群上 2.需要下载winutils.exe和hadoop-eclipse-plugin-2.7.3.jar,下载地址是点击打开链接 3.找到eclipse根目录下的plugins目录，将下载好的hadoop-eclipse-
WordCount实例分析（一）
YKQCC的博客
10-14 1514
由上篇blog可知，Mapreduce架构处理问题过程中，需要map()函数和reduce()函数即可同时再添加驱动程序进行实现，本文针对该实例进行简要分析。 1.创建Maven项目 首先通过右键new-project-Maven-Maven Project(如下图所示)，之后一直执行Next，进行骨架选择，选择maven-archetype-quickstart骨架，之后并进行命名，本项目命名为hadoop01，并在src/main/java下建立package名为com.qst.test。之后在其下
hadoop 自带示例wordcount 详细运行步骤
热门推荐
CV前沿
04-26 2万+
因为机器学习，接触到了数据挖掘；因为数据挖掘，接触到了大数据；因为大数据，接触到了Hadoop。之前有过hadoop的简单了解，但都是基于别人提供的hadoop来学习和使用，虽然也很好用 ，终究不如自己的使用起来方便 。经过这两天参考大量网上的经验，终于成功的搭建了自己的hadoop完全分布式环境。现在我把所有的安装思路、安装过程中的截图以及对待错误的经验总结出来，相信安装这个思路去做，hadoop
mapreduce实现wordcount 详细解析
qq_38924865的博客
12-05 5348
总括 Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，MapReduce则为海量的数据提供了计算。 HDFS是Google File System（GFS）的开源实现，MapReduce是Google MapReduce的开源实现。 HDFS和MapReduce实现是完全分离的，并不是没有HDFS就不能MapReduce运算。 1、MapReduce整体流程 最简单的MapReduce应用程序至少包含 3 个部分：一个 Map 函数、一个 Reduce 函数
MapReduce学习笔记（一）——WordCount环境准备
qq_36139822的博客
12-26 3913
本文介绍如何在单机模式下准备编写一个简单的wordCount程序。WordCount是一个很经典的MapReduce的例子，hadoop也自带了wordcount的mapreduce的example。wordcount也可说是集群计算中的helloworld。
Mapreduce：概述 + 实例：WordCount + yarn
坚决不做秃头少女
10-08 695
MapReduce采用的是“分而治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个从节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单来说，MapReduce就是”任务的分解与结果的汇总“。 1. MapReduce的工作原理 在分布式计算中，MapReduce框架负责处理了并行编程里分布式存储、工作调度，负载均衡、容错处理以及网络通信等复杂问题，现在我们把处理过...
MapReduce理论与实操1——WordCount
weixin_46192593的博客
07-10 655
大数据相关博客的目录 MapReduce概述 MapReduce定义 MapReduce是一个分布式并行计算框架，其核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，在一个Hadoop集群上并发运行。 MapReduce优缺点 优点 易于编程：通过实现一些接口即可完成一个分布式程序，并且可以分布到大量的廉价机的机器上运行。 易扩展性：当资源不足时，...
MapReduce中wordcount详细介绍
universe_ant的博客
09-22 9936
1、MapReduce编程模型 MapReduce采用分而治之的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单来说，MapReduce就是“任务的分解和结果的汇总”。 在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是JobTracker；另一个是TaskTracker。JobTracker用于
【大数据day12】——MapReduce笔记.rar
04-23
MapReduce（MapReduce 介绍、编程规范、运行模式、WordCount统计单词个数案例，MapReduce 分区，MapReduce 中的计数器）详解
MapReduce实现倒排索引-可运行的jar包
05-24
运行说明：在linux终端输入 $ hadoop jar test-1.0-SNAPSHOT.jar WordCount /input/* /MyOutput1/ 后两个参数是hdfs上面【输入】的文本文件目录和【输出】目录。 记得清空输出目录。
MapReduce开发 大数据 入门 学习
03-09
首先，我们从一个简单的例子——WordCount程序开始。WordCount程序是MapReduce的典型应用，它统计一组文本文件中每个单词出现的次数。Map阶段，文件被分割成多个块（splits），每块作为一个输入分片（input split）...
大数据技术之Hadoop(MapReduce&Yarn).docx
03-03
其基本思想是将复杂的计算任务拆分为两个主要阶段——Map阶段和Reduce阶段。Map阶段将原始数据分割并转化为键值对，然后Reduce阶段对这些键值对进行聚合操作，生成最终结果。MapReduce易于编程，具有良好的扩展性和...
第8节、MapReduce1
08-03
三、程序案例——WordCount WordCount是MapReduce的典型示例，用于统计文本中各个单词出现的次数。 1. 环境准备 在运行Hadoop MapReduce程序之前，需要确保环境配置正确，包括添加依赖库、配置Hadoop环境变量，...
Hadoop伪分布式配置和搭建，hadoop单机安装，wordcount实例测试，hadoop安装java目录怎么找，问题及问题解决方法
SylvanDing's Blog
12-02 3825
Hadoop伪分布式配置和搭建，hadoop单机安装，wordcount实例测试，hadoop安装java目录怎么找，问题及问题解决方法
示例程序WordCount的执行
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-25 2728
面对大数据，大数据的存储和处理，就好比一个人的左右手，显得尤为重要。Hadoop比较适合解决大数据问题，很大程度上依赖其大数据存储系统，即HDFS和大数据处理系统，即MapReduce。而对于MapReduce，单词计数是最简单也是最能体现 MapReduce 思想的程序之一，可以称为 MapReduce 版 “Hello World“，该程序的完整代码可以在 Hadoop 安装包的“src/examples“目录下找到。 单词计数主要完成功能是：统计一系列文本文件中每个单词出现的次数，如下图所示。 本实验
MapReduce入门详解（以WordCount为例）
m0_52835696的博客
04-16 5528
文章目录大致介绍MapReduceMapReduce的优缺点以WordCount为例介绍MapReduce的核心思想（重点）大致流程图各阶段的介绍生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants 大致介绍MapReduce Hadoop MapReduce是一个软件框架，可以轻松地编写应用程序，在大型集群(数千个节点)上以可靠、容错的方式并行处理大量数据(tb数据集)。 MapReduce作业通常将输入数据集分割成独立的块，由map任务以完全并行的方式处理这些块。框架对映射的输
【Mapreduce】Mapreduce实例——WordCount
码农印象
05-24 3940
前言一、 MapReduce的工作原理二、MapReduce框架的作业运行流程三、实验环境四、实验内容五、实验步骤 MapReduce采用的是“分而治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个从节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单来说，MapReduce就是”任务的分解与结果的汇总“。 一、 MapReduce的工作原理 在分布式计算中，MapRe...
Mapreduce实例——WordCount
最新发布
10-06
Mapreduce实例-WordCount是一个经典的MapReduce程序，用于统计文本中每个单词出现的次数。它的工作原理是将输入的文本划分为多个片段，每个片段由多个键值对组成，其中键是单词，值是1。然后通过Map阶段将每个片段中的单词提取出来，并将每个单词映射为键值对，其中键是单词，值是1。接下来，通过Shuffle和Sort阶段将具有相同单词的键值对聚集在一起。最后，通过Reduce阶段将相同单词的计数值进行累加，得到每个单词的总次数。 以下是一个示例代码片段，展示了WordCount程序的基本结构和关键组件： ```java import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class WordCount { public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable>{ private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(Object key, Text value, Context context) throws IOException, InterruptedException { StringTokenizer itr = new StringTokenizer(value.toString()); while (itr.hasMoreTokens()) { word.set(itr.nextToken()); context.write(word, one); } } } public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWritable> { private IntWritable result = new IntWritable(); public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } result.set(sum); context.write(key, result); } } public static void main(String[] args) throws Exception { Job job = Job.getInstance(); job.setJarByClass(WordCount.class); job.setMapperClass(TokenizerMapper.class); job.setCombinerClass(IntSumReducer.class); job.setReducerClass(IntSumReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } } ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值