![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
MapReduce
老薛的猫出海抓鱼不在这
哎吆~技术小渣
展开
-
DeBug调试解决在跑MapReduce程序时,出现Caused by: java.lang.ArrayIndexOutOfBoundsException: 1(数组越界异常)问题
在跑MapReduce程序时,出现了Caused by: java.lang.ArrayIndexOutOfBoundsException: 1(数组越界异常)分析过程:从这些提示信息中可以获取如下信息:1、错误发生在17行,找到对应行2、发生错误的时候,下标的值为1接下来分析为什么下标值为什么是1时出现越界,就可以解决了。我们使用打断点的方式找到问题根源:再出...原创 2019-10-13 13:49:47 · 4418 阅读 · 2 评论 -
实验六 MapReduce实验:二次排序
实验指导:6.1 实验目的基于MapReduce思想,编写SecondarySort程序。6.2 实验要求要能理解MapReduce编程思想,会编写MapReduce版本二次排序程序,然后将其执行并分析执行过程。6.3 实验原理MR默认会对键进行排序,然而有的时候我们也有对值进行排序的需求。满足这种需求一是可以在reduce阶段排序收集过来的values,但是,如果有...原创 2019-03-19 12:30:29 · 2483 阅读 · 2 评论 -
实验五 MapReduce实验:单词计数
实验指导:5.1 实验目的基于MapReduce思想,编写WordCount程序。5.2 实验要求1.理解MapReduce编程思想;2.会编写MapReduce版本WordCount;3.会执行该程序;4.自行分析执行过程。5.3 实验原理MapReduce是一种计算模型,简单的说就是将大批量的工作(数据)分解(MAP)执行,然后再将结果合并成最终结果(RED...原创 2019-03-18 17:39:30 · 7011 阅读 · 3 评论 -
实验四 YARN实验:部署YARN集群
shiyab配置实验指导4.1 实验目的了解什么是YARN框架,如何搭建YARN分布式集群,并能够使用YARN集群提交一些简单的任务,理解YARN作为Hadoop生态中的资源管理器的意义。4.2 实验要求搭建YARN集群,并使用YARN集群提交简单的任务。观察任务提交的之后的YARN的执行过程。4.3 实验原理4.3.1 YARN概述YARN是一个资源管理、任务调度...原创 2019-03-17 21:43:00 · 1931 阅读 · 1 评论 -
实验三:HDFS实验&读写HDFS文件&学习使用Java读写HDFS文件
一、实验指导3.1 实验目的1. 会在Linux环境下编写读写HDFS文件的代码;2. 会使用jar命令打包代码;3. 会在master服务器上运行HDFS读写程序;4. 会在Windows上安装Eclipse Hadoop插件;5. 会在Eclipse环境编写读写HDFS文件的代码;6. 会使用Eclipse打包代码;7. 会使用Xftp工具将实验电脑上的文件上传...原创 2019-03-11 23:56:44 · 6653 阅读 · 0 评论 -
实验七 MapReduce实验:计数器
实验指导:7.1 实验目的基于MapReduce思想,编写计数器程序。7.2 实验要求能够理解MapReduce编程思想,然后会编写MapReduce版本计数器程序,并能执行该程序和分析执行过程。7.3 实验背景7.3.1 MapReduce计数器是什么?计数器是用来记录job的执行进度和状态的。它的作用可以理解为日志。我们可以在程序的某个位置插入计数器,记录数据或者进...原创 2019-03-22 20:03:08 · 1520 阅读 · 0 评论 -
实验八 MapReduce实验:学习使用MapReduce进行Join操作
8.1 实验目的基于MapReduce思想,编写两文件Join操作的程序。8.2 实验要求能够理解MapReduce编程思想,然后会编写MapReduce版本Join程序,并能执行该程序和分析执行过程。8.3 实验背景8.3.1 概述对于RDBMS中的Join操作大伙一定非常熟悉,写SQL的时候要十分注意细节,稍有差池就会耗时巨久造成很大的性能瓶颈,而在Hadoop中使用M...原创 2019-03-22 21:21:39 · 1356 阅读 · 4 评论 -
实验九 MapReduce实验:分布式缓存
9.1 实验目的理解序列化与反序列化;熟悉Configuration类;学会使用Configuration类进行参数传递;学会在Map或Reduce阶段引用Configuration传来的参数;理解分布式缓存“加载小表、扫描大表”的处理思想。9.2 实验要求假定现有一个大为100G的大表big.txt和一个大小为1M的小表small.txt,请基于MapReduce思想编程实现判断小表...原创 2019-03-22 23:36:13 · 829 阅读 · 1 评论 -
实验三十 MapReduce与Spark读写Redis
实验指导:30.1 实验目的1.会使用MapReduce访问Redis数据;2.会使用Spark访问Redis数据。30.2 实验要求1.在master机上,使用MapReduce代码读取Redis数据;2.在master机上,使用Spark代码读取Redis数据。30.3 实验原理假定现有一个大为1000G的大表big.txt和一个大小为10G的小表small.t...原创 2019-05-08 00:58:00 · 1245 阅读 · 1 评论