查看hadoop自带examples下所含有的程序

最新推荐文章于 2022-10-14 12:43:50 发布
最新推荐文章于 2022-10-14 12:43:50 发布
阅读量1.3k 收藏 6
点赞数 2
分类专栏： Hadoop 文章标签： Hadoop demo examples
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44705678/article/details/95307996
版权
本文介绍如何进入/hadoop/share/hadoop/mapreduce目录，查看Hadoop自带的hadoop-mapreduce-examples-2.8.5.jar，该jar包包含多个MapReduce示例程序，供学习和参考。
摘要由CSDN通过智能技术生成

进入/hadoop/share/hadoop/mapreduce
根据你的路径来进入

root@kali:/usr/local/hadoop/share/hadoop/mapreduce# ls
hadoop-mapreduce-client-app-2.8.5.jar
hadoop-mapreduce-client-common-2.8.5.jar
hadoop-mapreduce-client-core-2.8.5.jar
hadoop-mapreduce-client-hs-2.8.5.jar
hadoop-mapreduce-client-hs-plugins-2.8.5.jar
hadoop-mapreduce-client-jobclient-2.8.5.jar
hadoop-mapreduce-client-jobclient-2.8.5-tests.jar
hadoop-mapreduce-client-shuffle-2.8.5.jar
hadoop-mapreduce-examples-2.8.5.jar
jdiff
lib
lib-examples
sources

自带的examples就在hadoop-mapreduce-examples-2.8.5.jar里
然后输入hadoop jar hadoop-mapreduce-examples-2.8.5.jar

root@kali:/usr/local/hadoop/share/hadoop/mapreduce# hadoop jar hadoop-mapreduce-examples-2.8.5.jar
An example program must be given as the first argument.
Valid program names are:
  aggregatewordcount: An Aggregate based map/reduce program that counts the words in the input files.
  aggregatewordh
最低0.47元/天 解锁文章
大数据：Hadoop入门案例，命令行wordcount统计
2401_84123188的博客
04-19 1082
以Hadoop自带的wordcount为例，说明如何在Windows环境下，统计若干文件中的单词出现次数。上传要统计的文件。假设在计算机本地有三个文件，f1.txt，f2.txt，f3.txt，这个三个文件位于E:/myfile文件夹下，需要把myfile整个文件上传到HDFS上。本例目的就是统计存放到HDFS中的f1,f2,f3这三个文件中的单词个数。1、需要现在HDFS上创建一个文件夹，假设这个文件夹名字为test_dir。
Hadoop生态圈 大数据文档
BigData_XiaoBai的博客
12-01 848
文档基于介绍基于Hadoop的大数据生态圈。介绍下图每一个组件的使用场景及使用方法，同时还对每一个组件有更深入的介绍。 ..
Hadoop-Examples:一些 Hadoop 示例
06-06
Hadoop MapReduce 程序 WordCount MR 程序 IPLTeamFinder MR 程序 FacebookMutualFriendsFinder MR 计划 FlipkartCorrelationCoefficient MR 程序 如何运行 MR 程序 字数 $ hadoop jar com.techidiocy.hadoop.mapreduce.drivers.WordCountDriver < input_file_location > < output> 团队查找器 $ hadoop jar com.techidiocy.hadoop.mapreduce.drivers.IPLTeamDriver < input_file_location > < output> 脸书互助朋友 $ hadoop jar
hadoop 运行自带包的单词计数位置和写法
后知后觉的it路
04-22 553
  0 准备文件 test 内容如下，中间用 \t间隔 [root@hadoop3 ~]# cat test hello you hello me      1 找到如下路径 hadoop2.5.2/share/hadoop/mapreduce:  位置下找到 example.jar     2 执行如下命令： [root@hadoop3 mapreduce]#...
hadoop examples（wordcount.class）例子
TylerPY的博客
09-04 510
今天我们学习了一个hadoop下的examples，全名是hadoop-mapreduce-examples-2.8.0.jar 在hadoop-mapreduce-examples-2.8.0.jar下，有很多的算法，用来实现很多的功能。其中有个wordcount.txt,功能是统计文件内容的个数（按空格分隔）。 例题 开启hadoop [root@Tyler01 ~]# start-all.s...
hadoop-mapreduce-examples-2.6.5.jar
10-23
hadoop-mapreduce-examples-2.6.5.jar 官方案例源码
hadoop-mapreduce-examples 官方demo源码
03-15
hadoop-mapreduce-examples 官方demo源码 hadoop-mapreduce-examples-2.7.7-sources
最简单的调试学习Hadoop Examples的方法
fishjam的专栏
08-20 3655
本文介绍了直接在IDE(Idea中进行，但适用于Eclipse)中调试Hadoop Examples中的一个简单方法，能轻松通过调试示例的方式来学习其使用方式
Hadoop单机部署
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-25 2688
本实验任务主要完成基于ubuntu环境的Hadoop单机部署、配置和调试工作。通过完成本实验任务，要求学生熟练掌握Hadoop单机部署方法，为后续实验的开展奠定Hadoop平台基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。掌握Hadoop单机环境的搭建、用途和调试。本次环境是：Ubuntu16.04 + jdk1.8.0_73 +hadoop-2.7.3hadoop的单击部署主要步骤为解压，配置环境变量，配置hadoop-env.sh文件。右击Ubuntu操作系统桌面
JAVA大数据(二) Hadoop 分布式文件系统HDFS 架构，MapReduce介绍，Yarn资源调度
m0_58818478的博客
01-11 379
文章目录1.分布式文件系统HDFS1.HDFS的来源2.HDFS的架构图之基础架构2.1 master/slave 架构2.2 名字空间（NameSpace）2.3 文件操作2.4副本机制2.5心跳机制2.6 一次写入，多次读出3.NameNode与Datanode的总结概述3.1namenode 元数据管理3.2 Datanode 数据存储4.文件副本机制以及block块存储5.元文件FSImage与edits6、HDFS的文件写入过程7、HDFS的文件读取过程8.HDFS基本Shell操作9.HDFS的
Hadoop之hadoop-mapreduce-examples测试执行及报错处理
热门推荐
月生的静心苑
12-16 1万+
Hadoop Map/Reduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。
Hadoop - MapReduce程序
汤小萌的博客
10-14 323
MapReduce程序在Hadoop安装包里面本身就有. 测试 Word Count 统计词数 1.编写txt文件: a.txt I believe, for every drop of rain that falls, A flower grows... I believe that somewhere in the darkest night, A candle glows... I beli...
hadoop之hadoop-mapreduce-examples-2.7.0.jar
yibei8811的专栏
07-06 1万+
前2篇blog中测试hadoop代码的时候都用到了这个jar，那么很有必要去分析一下源码。 分析源码之前很有必要先写一个wordcount，代码如下 package mytest; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration;
Hadoop 运行 share/hadoop/mapreduce/hadoop-mapreduce-examples-xxx.jar 报错
Jodness' Blogs
03-16 1万+
今天在运行以下命令 hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'dfs[a-z.]+' 因为之前我改了主机名为master1 报错 19/03/16 16:12:59 INFO Configuration.deprecation: session.id ...
运行 MapReduce 样例
实践求真知
12-17 5660
一 hadoop样例代码 1 样例程序路径 /opt/hadoop-2.7.4/share/hadoop/mapreduce 2 样例程序包 hadoop-mapreduce-examples-2.7.4.jar包含着数个可以直接运行的样例程序 3 如何查看样例程序 ./bin/yarn jar /opt/hadoop-2.7.4/share/hadoop/mapreduce/hado
大数据—Hadoop（八）_ MapReduce_01、概述
梳理大数据技术
10-14 513
MapReduce将数据的计算，简单分成Map和Reduce两个阶段。Map阶段，将原本很大的数据集拆分成多个小份，在不同服务器上各个击破。Reduce阶段，则将原本小份的数据结果汇总，进一步计算，得到最终结果。
hadoop示例源码位置
at_the_beginning的博客
02-22 457
搜索wordcount等等这些示例程序位置，发现百度答案有点少，都是教怎么操作实现和运行这些程序，但很少有提到源码位置，为此作者找了好久。 作者这里使用的是2.10.1版本，附近版本应该都是这个位置。 到官网下载Source download的合适你的版本，而不是Binary download，在镜像中点击有src字眼的链接下载即可。下图红色框框都可以 wordcount、terasort、sort、secondary sort等等这些自带的示例代码就在下边的路径下： {源码包所在路径}\had
MapReduce简介
intmiss的博客
10-29 987
MapReduce MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）“和"Reduce（归约）”，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并...
hadoop-mapreduce-example中实例介绍
hfc623的博客
09-14 3414
hadoop-0.20.2-examples.jar是hadoop-0.20.2自带了一些实例： aggregatewordcount 计算输入文件中文字个数的基于聚合的MapReduce程序； aggregatewordlist  生成输入文件中文字个数的统计图的基于聚合的MapReduce程序； grep 计算输入文件中匹配正则表达式的文字个数的MapReduce程序； join 合并
ubuntu 下运行Hadoop自带的word count程序
最新发布
06-03
在 Ubuntu 上运行 Hadoop 自带的 word count 程序，需要先安装 Hadoop。可以按照以下步骤进行操作： 1. 下载 Hadoop 安装包，解压到指定目录中，例如 /usr/local/hadoop。 2. 配置 Hadoop 环境变量。打开 /etc/profile 文件，在文件末尾添加以下内容： ``` export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 3. 使环境变量生效。执行以下命令： ``` source /etc/profile ``` 4. 启动 Hadoop。执行以下命令： ``` start-all.sh ``` 5. 在 Hadoop 中创建一个输入文件夹。执行以下命令： ``` hadoop fs -mkdir input ``` 6. 将需要统计的文件上传到输入文件夹中。执行以下命令： ``` hadoop fs -put /path/to/input/file input/ ``` 7. 运行 Hadoop 自带的 word count 程序。执行以下命令： ``` hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount input output ``` 其中，input 是输入文件夹，output 是输出文件夹。执行完毕后，可以在输出文件夹中查看统计结果。 8. 停止 Hadoop。执行以下命令： ``` stop-all.sh ``` 以上就是在 Ubuntu 下运行 Hadoop 自带的 word count 程序的步骤。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值