运行Hadoop中MapReduce自带的WordCount程序

于 2023-09-10 19:32:25 发布
阅读量327 收藏
点赞数 1
文章标签： hadoop mapreduce 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/L_Einsamkeit/article/details/132794565
版权

执行wordcount程序（词频统计）

  • 创建目录，保存MapReduce的输入文件
hadoop fs -mkdir /wcinput
  • 创建目录，保存MapReduce的输出文件
hadoop fs -mkdir /wcoutput

因为Hadoop要求输出文件夹不能存在，所以这只是空文件夹，在执行时再确定输出文件夹，如/wcoutput/output1
在这里插入图片描述

  • 创建一个文本文件，并上传到保存输入文件的文件夹中
    在这里插入图片描述
    在这里插入图片描述
  • 运行WordCount程序
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput /wcoutput/output1

在这里插入图片描述

  • 本地查看结果（截取部分）
    在这里插入图片描述
  • 远程查看结果
    在这里插入图片描述
    在这里插入图片描述
    初学，犯了很蠢的错误，没有文件就开始运行程序，词频统计没有词怎么统计嘛
    在这里插入图片描述
unknown_miss
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Hadoop mapreduce实现wordcount
01-28
在实际环境中，我们需要配置 Hadoop 集群，设置输入文件路径，编译并打包 WordCount 程序，最后通过 Hadoop 的 `hadoop jar` 命令提交作业到集群运行。调试时，可以查看日志输出，检查错误信息，优化性能。 通过...
运行Hadoop自带的wordcount程序
weixin_54763080的博客
12-21 659
运行share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar这个java程序（与自己的Hadoop系统版本对应）查看云端的/data/output/my_wordcount/part-r-00000文件。出现下面六个进程则说明启动成功。
MapReduce
JAX_fire的博客
08-13 752
分布式计算是一种计算方法和集中式计算是相对的随着计算技术的发展，有些应用需要非常巨大的计算能力才能完成，如果采用集中式计算，需要耗费相当长的时间来完成。分布式计算将该应用分解成许多小的部分，分配给多台计算机进行处理。这样可以节约整体计算时间，大大提高计算效率。Hadoop MapReduce是一个分布式计算框架，用于青松编写分布式应用程序，这些应用程序以可靠，容错的方式并行处理大型硬件集群（数千个节点）上的大量数据（多TB数据集）。...
运行hadoop自带的案例—wordcount
weixin_44310899的博客
05-21 736
主要有四个步骤： 一、 在hdfs分布式文件系统 中创建两个文件夹，分别存放输入、输出数据 1、 bin/hadoop fs –mkdir –p/data/wordcount 创建的输入数据目录 2、 bin/hadoop fs –mkdir –p/output/ 创建的输出数据目录 二、 将要测试的文件上传到hdfs文件系统的输入数据目录 1...
WordCount 在 MapReduce上运行详细步骤
飘羽的博客
04-03 1399
点击导航栏window-->show View-->other，选中MapReduce Tools中的Map/Reduce Locations，并点击“ok”按钮。点击finish，后在eclipse界面左上角就会出现HDFS本地连接，以及可以看到HDFS上的文件结构目录。运行程序：右键程序Run as--->Run on Hadoop,运行完毕后，刷新目录如下图，打开WordCount目录，右键点击src文件夹，选择new--->Class。点击下一步，然后输入WordCount，并点击完成。
Hadoop之——WordCount案例与执行本地jar包
Helen_1997_1997的博客
02-12 4616
Hadoop之——WordCount案例与执行本地jar包
实验2-在Hadoop平台上部署WordCount程序-孙淼1
08-03
7. **WordCount程序**：这是Hadoop的入门示例，用于统计文本文件中单词的出现次数。程序包括Mapper和Reducer两个阶段，使用Java编写。Mapper将输入文本分割成单词，Reducer则计算每个单词的总数并写入输出文件。 8....
hadoop mapreduce wordcount
08-24
<groupId>com.hadoop.mapreduce</groupId> <artifactId>wordcount <version>0.0.1-SNAPSHOT <packaging>jar <name>wordcount <url>http://maven.apache.org</url> <project.build.sourceEncoding>UTF-8 ...
hadoop中 MapReduce学习代码WordCount
08-28
【Hadoop MapReduce 学习代码 - WordCount】 在大数据处理领域，Hadoop MapReduce 是一个重要的工具，它提供了一种分布式计算模型，用于处理和生成大规模数据集。本篇文章将详细讲解如何通过一个简单的 WordCount ...
初学Hadoop之图解MapReduce与WordCount示例分析
02-01
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，MapReduce则为海量的数据提供了计算...1、Hadoop示例程序WordCount详解及实例2、hadoop学习笔记：mapreduce框架详解3、hadoop示例程序wo
scp和rsync命令
yanziyu0721730的博客
07-16 370
SCP命令 （1）scp 定义 scp 可以实现服务器与服务器之间的数据拷贝。 （from server1 to server2） （2）基本语法 scp -r $pdir/$fname $user@$host:$pdir/$fname 命令 递归 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称 （3）基本示例 scp -r jdk1.8.0_291/ root@hadoop103:opt/module scp -r root@hadoop102:/opt/module/* root@h
大数据技术之Hadoop：提交MapReduce任务到YARN执行（八）
最新发布
路漫漫其修远兮，吾将上下而求索
09-10 1301
到这一章结束，我们的Hadoop学习就告一段落了。不是说Hadoop技术学完了，而是可以说已经入门了。至于后续要深入学习也有了方向性。下一步我们将讲解Hive技术。过程中会补充MapReduce的一些知识点。最难不过坚持，加油！🧡。
[Hadoop]运行自带wordcount程序
weixin_44566432的博客
04-22 1336
话不多说。 1、开启Hadoop服务 首先到Hadoop安装目录下的/sbin，然后运行./start-all.sh 当看到上面六个服务说明已经正常启动了，那么继续下一步 2、 回到Hadoop安装目录下，执行下面命令创建文件夹及文件 bin/hadoop fs -mkdir -p /test/wordcount #创建一个test/wordcount文件目录 ...
使用Hadoop运行WorldCount示例
夏末_那场未盛开的梦的博客
09-21 7805
使用Hadoop运行WorldCount示例上一节中我们搭建好了Hadoop的运行环境，虽然还没开始学习Hadoop各个组件的框架原理，但是我先来通过hadoop运行自带的worldcount示例来熟悉一下它的操作流程。 1.首先找到hadoop自带worldcount jar包示例的路径： 2.准备工作，需要创建输入输出路径以及上传的文件： （1）创建目录 hadoop fs -mkdi
运行hadoop自带wordcount例子
m0_67394360的博客
08-31 688
kinit -kt /etc/security/keytabs/hive.service.keytab hive/master （注：master需要替换为你当前域名，中间红色的为hive的keytab文件位置，然后可以用klist命令查看当前kerberos用户)/user/hive/data.txt 即为我刚上传到hive下的文件，/user/hive/output 为输出目录，记住这个目录一定不要存在，不然会报output folder already exists。输出结果还是很直观的。...
hadoop自带示例wordcount
热门推荐
侠客小虎的博客
01-17 2万+
1.首先确认你的hadoop启动了。 master与slave启动方式相同，进入hadoop目录下的sbin目录，命令:$cd /home/hadoop/hadoop/sbin (根据个人安装的hadoop目录调整) 启动hadoop：(1)$./start-dfs.sh (2)$./start-yarn.sh 启动后的效果如图：master如图1，slave如图2 图1 图2
hadoop 自带示例wordcount 详细运行步骤
CV前沿
04-26 2万+
因为机器学习，接触到了数据挖掘；因为数据挖掘，接触到了大数据；因为大数据，接触到了Hadoop。之前有过hadoop的简单了解，但都是基于别人提供的hadoop来学习和使用，虽然也很好用 ，终究不如自己的使用起来方便 。经过这两天参考大量网上的经验，终于成功的搭建了自己的hadoop完全分布式环境。现在我把所有的安装思路、安装过程中的截图以及对待错误的经验总结出来，相信安装这个思路去做，hadoop
查看并使用hadoop自带的示例程序（以wordcount为例）
Mocode的博客
03-15 3765
以wordcount为例，使用hadoop自带的示例程序。记录了一些注意事项以及可能出现的错误信息。
详细解析如何运行hadoop自带例子
夜阑听风
05-07 8453
本文，简单介绍下，如何运行hadoop自带的mapreduce的那些例子。本文针对的hadoop版本，是2.6.5版本，自带的例子包名为：hadoop-mapreduce-examples-2.6.5.jar；位于/share/hadoop/mapreduce目录下。简单来说，如果想要完成范例的运行，直接：hadoop jar hadoop-mapreduce-examples-2.6.5.jar...
Hadoop MapReduce实例：WordCount详解
"MapReduce经典例子WordCount运行详解.pdf" MapReduce是Google提出的一种用于处理和生成大规模数据集的编程模型，它被广泛应用于大数据处理领域，特别是在Hadoop框架下。本资源主要介绍了MapReduce的核心概念和一个...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值