![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
MapReduce
中国好胖子、
学不死就往死里学,比你优秀的人比你还努力,你还拿什么和别人拼
展开
-
Hadoop-MapReduce
自定义bean对象实现序列化接口(Writable)在企业开发中往往常用的基本序列化类型不能满足所有需求,比如在Hadoop框架内部传递一个bean对象,那么该对象就需要实现序列化接口。具体实现bean对象序列化步骤如下7步。(1)必须实现Writable接口(2)反序列化时,需要反射调用空参构造函数,所以必须有空参构造public FlowBean() { super();}(...原创 2020-09-02 11:26:47 · 1604 阅读 · 0 评论 -
MapReduce执行流程源码深度剖析(三)
1. MapTask的工作原理1.1 runNewMapperprivate <INKEY,INVALUE,OUTKEY,OUTVALUE>void runNewMapper(final JobConf job, final TaskSplitIndex splitIndex, final TaskUmbilicalProtocol umbilical, TaskReporter原创 2020-08-23 16:56:57 · 431 阅读 · 0 评论 -
MapReduce执行流程源码深度剖析(二)
1、从一个Demo入手因为阅读一个源码,需要找到他的入口,一般一些计算框架,他都会提供一些例子类。所以我们就U型那咋从WordCount这个类来进行入手!1.1 WordCountpublic class WordCount { public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable>{ private final static IntWr原创 2020-08-22 19:04:47 · 352 阅读 · 0 评论 -
MapReduce执行流程源码深度剖析(一)
1、分布式计算引擎的核心设计思路分布式里的核心思路:就是 分而治之 (比如怎么切分和怎么合并)既然复杂问题,单台计算搞不定,那么就发挥人多力量大的优势:组建一个多服务器组成的集群来完成分布式计算的问题。核心过程就是:1、第一阶段:复杂的大任务拆分成多个简单的小任务来进行执行2、第二阶段:把第一阶段的并行执行的小任务的执行结果进行汇总MapReduce:一句话讲就是分而治之+并行计算HDFS:一句话总结,就是分散存储+冗余存储但是,把单机计算程序,扩展成分布式计算应用程序,会遇到非常多的问原创 2020-08-21 22:58:28 · 465 阅读 · 0 评论