MapReduce实战之WordCount

最新推荐文章于 2020-09-10 23:18:08 发布
最新推荐文章于 2020-09-10 23:18:08 发布
阅读量1.5k 收藏 1
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33624294/article/details/52861210
版权
本文详细介绍了如何使用Hadoop MapReduce实现WordCount程序。从创建Java项目，编写WordMapper和WordReducer，到打包成jar文件，然后在Linux环境中运行，包括上传输入文件，启动Hadoop集群，执行MapReduce任务，最终查看统计结果。
摘要由CSDN通过智能技术生成
打开eclipse，新建一个WordCount的java project工程，写WordMapper类继承于Mapper抽象类，覆写map函数，写WordReducer类继承于Reducer，覆写reduce函数,最后写一个场景调用类，调用WordMapper和Reducer类

这里写图片描述

WordMapper类

这里写图片描述

WordReduce类

这里写图片描述

WordMain类

这里写图片描述
这里写图片描述

接下来就是导出jar包文件的步骤

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

Linux桌面上就会出现wordcount.jar文件

这里写图片描述

准备好要测试的文件file1.txt,file2.txt，两个文件里面的内容是一些单词

这里写图片描述

启动hadoop集群，命令start-all.sh,创建文件输入路径:hadoop fs -mkdir /user/gznc/input将本地上的file1.txt和file2.txt文件上传到集群的输入文件中，有两种方法可以上传文件，第一种方法是命令：hdfs dfs /home/gznc/file1.txt /user/gznc/input,第一个是本地路径，第二个是集群路径。第二个文件类似。第二种方法是用eclipse写方法上传。注意路径可以变化，不一定要和我的一样

这里写图片描述

查看文件file1.txt和file2.txt是否已经上传到集群，命令:hadoop fs -ls /user/gznc/input

最低0.47元/天 解锁文章
BD_ZYJ
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Mapreduce：概述 + 实例：WordCount + yarn
坚决不做秃头少女
10-08 708
MapReduce采用的是“分而治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个从节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单来说，MapReduce就是”任务的分解与结果的汇总“。 1. MapReduce的工作原理 在分布式计算中，MapReduce框架负责处理了并行编程里分布式存储、工作调度，负载均衡、容错处理以及网络通信等复杂问题，现在我们把处理过...
MapReduce-wordcount
FiveCode的博客
10-29 463
MapReduce概述 MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。 MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。 1）MapReduce易于编程 它简单的实现一些接口，就可以完成一个分布式程序，这个分布式程序可以分布到大量廉价的PC机器上运行。也就是说你写一个分布式程序，跟写一个简单的串行程序是一模一样的。就是因为这个特点使得MapReduce编程变
Hadoop之MapReduce—Wordcount
大数据
05-23 736
一、问题描述      场景：有大量文件，里面存储了单词      任务：如何统计每个单词出现的次数？ 二、数据格式      2.1 输入数据       hello tom       hello jerry       hello kitty       hello world       hello tom      2.2 输出格式       hello 5
mapreduce实现wordcount
GodXuzzZ的博客
06-04 268
mapreduce实现wordcount 文件分割 splitting 小区分词 map 小分区聚合 combine 数据迁移，拉数据 shuffle 总计 reduce 步骤 首先，把一篇文章分开成为很多片，给分片标号1，2，3号，分别对3片进行分词，Map实现，按照每个英文单词进行拆分，每出现一个就标个1，不管是否重复，combine进行小分片聚合，把重复的英文单词出现的次数聚合到一起，每个片内不再有重复的英文单词，但是1，2，3之间会有重复单词，shuffle对所有分片的单词进行统计，把重复的放在
hadoop mapreduce wordcount
08-24
<project xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>com.hadoop.mapreduce</groupId> <artifactId>wordcount</artifactId> <version>0.0.1-SNAPSHOT</version> <packaging>jar</packaging> <name>wordcount</name> <url>http://maven.apache.org</url> <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> </properties> <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.7.2</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.7.2</version> </dependency> <dependency> <groupId>jdk.tools</groupId> <artifactId>jdk.tools</artifactId> <version>1.8</version> <scope>system</scope> <systemPath>${JAVA_HOME}/lib/tools.jar</systemPath> </dependency> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>3.8.1</version> <scope>test</scope> </dependency> </dependencies> </project>
hadoop mapreduce编程实战
09-12
Hadoop MapReduce 编程实战 Hadoop MapReduce 是大数据处理的核心组件之一，它提供了一个编程模型和软件框架，用于大规模数据处理。下面是 Hadoop MapReduce 编程实战的知识点总结： MapReduce 编程基础 ...
mapreduce基础实战.doc
最新发布
05-23
MapReduce是一种编程模型，用于处理和生成大数据集。它由两个主要阶段组成：Map（映射）和Reduce（归约）。以下是一些关于MapReduce基础实战的关键点： ...6. **案例分析**：分析和理解WordCount案例，这是MapReduce中
MapReduce2.0源码分析与实战编程
12-19
9. **实战案例**：通过实际案例，如网页链接分析、日志分析、WordCount等，可以更好地理解MapReduce的应用场景和编程实践。 10. **开发工具**：Hadoop的开发工具有如Hadoop命令行、Hadoop Distributed File System ...
大数据技术基础实验报告-MapReduce编程.doc
08-21
`WordCount`是一个经典的MapReduce示例，用于统计文本文件中单词的出现次数。`Mapper`阶段将输入文本分割成单词，`Reducer`阶段则计算每个单词的总数。实验中，我们可以在Eclipse中编写并运行`WordCount`程序，观察...
MapReduce之Wordcount实现
10-22
Hadoop搭建 MapReduce之Wordcount代码实现 代码讲解，通俗易懂。
MapReduce WordCount例子
03-30
介绍如何在Intellij Idea中通过创建maven工程配置MapReduce的编程环境，WordCount代码。
MapReduce 实现 WordCount
绿萝蔓蔓绕枝生
09-10 1079
Java操作Hadoop 1、Windows安装并配置Hadoop；详情请见【Windows安装并配置Hadoop】 2、打开IDEA创建一个maven项目 3、填好GroupId（包名）、ArtifactId（项目名） 4、选择maven安装路径、maven中sittings.xml文件路径 5、创建完成即可创建相应的Java类 MapReduce 实现 WordCount 在实现java操作Hadoop之前需要先下载maven依赖包 ； 在pom.xml文件中配置依赖项，IDEA会自动下载; Ma
MapReduce实现WordCount程序
小鹏的专栏
05-05 659
1.Mapper程序import java.io.IOException; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; /...
MapReduce编程实例之WordCount
Rosun
04-13 939
1.MapReduce计算框架2.实例WordCountpackage org.apache.hadoop.examples; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Pa
如何编写最简单的MapReduce之WordCount程序
彪彪的博客
10-25 415
Mapper端： Map端传入的数据是一个文本格式的数据，每一行都分别执行map方法，map方法调用的次数等同于文本的行数 Redecer端： map端传来的数据进入reduce方法前会分组和排序，因此进入reduce方法的数据是已经按key分组后的数据，每一个相同的key所对应的多个value都存放到迭代器中，所有相同key的数据一起执行一次reduce方法，因此r
使用MapReduce实现WordCount
WWW_SYR的博客
07-16 4097
1、MapReduce 开发流程 搭建开发环境，参考HDFS 环境搭建，基本一致 基于MapReduce 框架编写代码 编译打包，将源代码和依赖jar 包打成一个包 上传至运行环境 运行hadoop jar 命令，现已由yarn jar 替代，建议使用新命令提交执行 具体提交命令为： yarn jar testhdfs-jar-with-dependencies.jar com.tia...
【Mapreduce】Mapreduce实例——WordCount
码农印象
05-24 4027
前言一、 MapReduce的工作原理二、MapReduce框架的作业运行流程三、实验环境四、实验内容五、实验步骤 MapReduce采用的是“分而治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个从节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单来说，MapReduce就是”任务的分解与结果的汇总“。 一、 MapReduce的工作原理 在分布式计算中，MapRe...
Linux下MapReduce编程WordCount练习——使用命令行编译打包运行MapReduce程序（里面有对应安装包下载）
mango
04-28 4484
MapReduce编程目录一、WordCount练习二、编译、打包 Hadoop MapReduce 程序遇见的问题 一、WordCount练习 1、查看 HDFS 中的文件列表 2、在 Eclipse 中创建 MapReduce 项目WordCount 3、新建类 Class，在 Package 处填写 org.apache.hadoop.examples；在 Name 处填写 WordCo...
MapReduce实战：WordCount词频统计与HDFS应用
在本次大数据实验中，主要目标是通过MapReduce编程实践，实现对HDFS系统中多个文本文件的WordCount词频统计功能。实验内容主要包括以下几个步骤： 1. **实验准备**： - 在本地创建一个文件夹，使用`vim`命令编辑器...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值