hadoop 之 mapreduce job 案例练习

mapreduce job 案例

官网要求:
1、Make the HDFS directories required to execute MapReduce jobs:
$ bin/hdfs dfs -mkdir /user
$ bin/hdfs dfs -mkdir /user/< username>
2、Copy the input files into the distributed filesystem:
$ bin/hdfs dfs -put etc/hadoop input
3、Run some of the examples provided:
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar grep input output ‘dfs[a-z.]+’
4、Examine the output files:
Copy the output files from the distributed filesystem to the local filesystem and examine them:
$ bin/hdfs dfs -get output output
$ cat output/*
or
View the output files on the distributed filesystem:
$ bin/hdfs dfs -cat output/*
5、When you’re done, stop the daemons with:
$ sbin/stop-dfs.sh

1、制作执行MapReduce作业所需的HDFS目录:
[hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ bin/hdfs dfs -mkdir -p /user/hadoop

2、将input文件复制到分布式文件系统中:
即:将linux文件夹拷贝到HDFS文件夹,默认放在/user/hadoop文件目录中
[hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ bin/hdfs dfs -put etc/hadoop input
在这里插入图片描述

3、运行提供的一些示例
[hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ bin/hadoop jar
\share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar grep input output ‘dfs[a-z.]+’
显示进程(需话一分钟左右)
在这里插入图片描述
生产上map run到50%左右,reduce就会开始run。
但是小数据量的话是map run 到100%后Reduce才开始run。
资源不够的时候会报错,并自动尝试提交其他资源。
这时候有可能要重新上传资源,但是输出时每次的文件夹都是不一样,因为系统不会自动覆盖原来的输出文件,所以需要给output再另命名,否则报错。
在这里插入图片描述
这种情况下案例上的数据已经提交上去了,在之前的web界面是可以看到提交的案例:http://47.75.240.243:8088/
在这里插入图片描述
通常,提交成功的话显示的状态是FINISHED和SUCCEEDED
可见运行这个案例是可以成功的,说明hadoop的hdfs和yarn的部署是成功的!
还没完呢~

4、检查输出文件:
[hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ bin/hdfs dfs -get output output
切换到output目录:可见到 part-r-00000文件成功匹配内容,查看内容:
[hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ cat output/*
6 dfs.audit.logger (说明dfs开头的这个文件出现了6次)(下同)
4 dfs.class
3 dfs.server.namenode.
2 dfs.period
2 dfs.audit.log.maxfilesize
2 dfs.audit.log.maxbackupindex
1 dfsmetrics.log
1 dfsadmin
1 dfs.servers
1 dfs.replication
1 dfs.file
在这里插入图片描述
在这里插入图片描述

请批评指正

over✌

--------------------------------------------------------未完待续------------------------------------------------

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: HadoopMapReduce实战案例有很多,以下是一些常见的案例: 1. WordCount:统计文本中单词出现的次数。 2. TopN:找出文本中出现次数最多的前N个单词。 3. 求平均值:计算文本中一列数字的平均值。 4. 倒排索引:将文本中的单词与出现的文档建立索引,方便快速查找。 5. 关联规则挖掘:通过分析大量数据,找出其中的关联规则,如购物篮分析。 6. 图像处理:通过MapReduce处理大量图像数据,如图像分类、图像识别等。 7. 推荐系统:通过分析用户行为数据,为用户推荐相关的产品或服务。 8. 日志分析:通过MapReduce处理大量日志数据,如网站访问日志、服务器日志等,分析用户行为、系统性能等。 以上是一些常见的HadoopMapReduce实战案例,实际应用中还有很多其他的案例。 ### 回答2: Hadoop是一个开源的分布式存储和处理大数据的解决方案,而MapReduceHadoop中的一种计算框架。其实战案例很多,下面就列举一些经典的案例。 1. 单词计数:在一个大文本文件中统计每个单词出现的次数,是Hadoop入门案例MapReduce的Map函数进行分割文本并将每个单词都映射到(key,value)对上,reduce函数对同一个key的value进行合并并输出。 2. 网页排名:Google使用了PageRank算法对网页搜索结果进行排序,而这个排序算法的实现就是MapReduce模型。Map函数将网页信息和链接信息映射到(key,value)对上,reduce函数计算网页的排名并输出。 3. 日志分析:大型网站的日志通常非常庞大,Hadoop可应用于实时分析与处理这些日志。MapReduce的Map函数解析日志并提取重要信息,reduce函数进行计数统计或者聚合操作。 4. 图像处理:MapReduce模型常用于图像识别、处理和分析。Map函数把处理的图像块分配到不同的机器上,在不同的机器上并行化地处理。而reduce函数通常用于汇总结果并输出。 这些案例只是MapReduceHadoop中的应用之一,Hadoop还可以通过Hive、Pig等组件来对数据进行高层次的查询、脚本处理和数据分析。Hadoop在大数据领域的应用日益广泛,如商业智能、金融风控、医疗健康等,在数据收集、存储和处理中扮演着重要的角色。 ### 回答3: Hadoop是一个大数据处理平台,而MapReduce是其中最主要的一种分布式计算框架。MapReduce的核心思想是将一个大数据集拆分成多个子集,然后通过并行计算将这些子集进行处理得到最终结果。 在实际应用中,人们利用HadoopMapReduce来处理各种各样的大数据问题。下面我们来介绍一些MapReduce的实战案例: 1.单词统计 这是一个最简单却也最典型的案例。它的思路是读入一个大文本文件,然后将文件中每个单词逐个拆分出来,统计每个单词出现的频次,并将结果输出。这个过程可以通过MapReduce的"map"和"reduce"函数来实现。其中"map"函数负责将文本文件拆分成单词,将每个单词与1这个数字配对,并将结果输出。而"reduce"函数负责将配对结果按照单词将其分组,然后将每组中所有数字进行累加,得到每个单词的频次。 2. 声明式流媒体处理 MapReduce不仅仅是用来处理静态的大数据,还可以用来处理流媒体数据。具体来说,就是将流媒体数据流中的元素分割成小块,逐块对其进行MapReduce运算处理,得到最终结果。例如,在一个音乐流媒体应用中,我们可以通过MapReduce对歌曲库进行快速索引,以便用户能够快速检索和播放他们喜爱的歌曲。同时,在流媒体数据处理过程中,MapReduce还能够根据所处理的数据类型,自动调整MapReduce算法的参数和并行度,以确保处理效率和质量。 3.处理图形数据 图形处理是一个非常关键的应用领域。通过MapReduce计算框架,我们能够处理极大规模的图形数据集,例如在社交网络中对用户关系进行建模或者对搜索引擎中的网页链接关系进行分析。具体操作过程是,我们首先通过MapReduce的"map"函数将每个节点的邻居节点列表作为输出键值,将每个节点的ID作为输出值。然后通过MapReduce的"reduce"函数将具有相同邻居节点的节点交给同一个处理器进行处理。最终,我们得到的结果是每个节点及其所有邻居节点的详细信息。 总之,以上三个案例充分展示了MapReduce在大数据处理过程中的应用价值。作为一种分析大规模数据和自动化处理复杂问题的工具,MapReduce框架不仅使我们能够更好地管理和分析数据,而且还推动了数据处理领域的创新和发展。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值