【图文解析 】MapReduce 程序运行演示 ——hadoopd第二核心组建!

在 MapReduce 组件里,官方给我们提供了一些样例程序,其中非常有名的就是 wordcount 和 pi 程序。这些 MapReduce 程序的代码都在 hadoop-mapreduce-examples-2.6.4.jar 包里,这 个 jar 包在 hadoop 安装目录下的/share/hadoop/mapreduce/目录里 
 
下面我们使用 hadoop 命令来试跑例子程序,看看运行效果 先看 MapReduce 程序求 pi 的程序:



 
 


那除了这两个程序以外,还有没有官方提供的其他程序呢,还有就是它们的源码在哪里呢? 
我们打开 mapreduce 的源码工程,里面有一个 hadoop-mapreduce-project 项目: 

 
里面有一个例子程序的子项目:hadoop-mapreduce-examples 
 
其中 src 是例子程序源码目录,pom.xml 是该项目的 maven 管理配置文件,我们打开该文件, 找到第 127 行,它告诉了我们例子程序的主程序入口: 
 
找到该目录: 
 
打开主入口程序,看源代码: 
 
找到这一步,我们就能知道其实 wordcount 程序的实际程序就是 WordCount.class,这就是我 们想要找的例子程序的源码 
 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
倒排索引是一种常用的数据结构和算法,用于快速定位某个单词在大规模文本中出现的位置。在倒排索引中,单词作为关键词,而文本作为关键词的集合。通过倒排索引,我们可以快速找到包含某个关键词的文本片段。 在MapReduce中,倒排索引也是一个常见的应用案例。它可以将输入的文本数据分割成若干个独立的小块,然后通过Map阶段将每个小块中的单词作为关键词,将其所在的文本块作为值进行映射。接着,在Reduce阶段中,将具有相同关键词的文本块进行合并,形成一个完整的倒排索引。 为了实现倒排索引的MapReduce程序,我们可以使用一个压缩包来运行。这个压缩包包含了所有必要的代码、配置文件和依赖项,以及输入文本数据。在运行压缩包时,MapReduce框架会自动加载其中的内容,并按照预定义的Map和Reduce函数进行处理。 通过将倒排索引程序打包成压缩包,可以方便地将程序部署到集群中的所有节点上。在集群中的每个节点上运行倒排索引程序,可以并行地处理大规模的输入数据。在MapReduce框架的控制下,每个Map和Reduce任务都会得到正确的输入和输出,并最终生成完整的倒排索引。 总之,倒排索引是MapReduce的一个经典案例,通过使用压缩包来运行倒排索引程序,可以方便地部署到集群中,并实现高效的并行处理。这种方式可以加速倒排索引的生成过程,并提高数据处理的效率。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值