大家好,我是曜耀。
今天,说一下MapReduce
MapReduce是一种分布式计算模型,是Google提出来的,主要用于搜索领域,解决海量数据的计算问 题. MapReduce是分布式运行的,由两个阶段组成:Map和Reduce, Map阶段是一个独立的程序,在很多个节点同时运行,每个节点处理一部分数据。 Reduce阶段也是一个独立的程序,可以在一个或者多个节点同时运行,每个节点处理一部分数据。 在这map就是对数据进行局部汇总,reduce就是对局部数据进行最终汇总。
总的来说就是提取一些文件里有效的数据。
MapReduce有俩个阶段一个是Map,一个是reduce阶段。
MapReduce首先会进行Map阶段,MapReduce会把要进行数据清洗的文件划分为多个InputSplit,一般情况下,每个HDFS的Block对应一个InputSplit,通过Record把InputSplit解析成一个<key,value>,这样模式的数组Map类型。一般情况下,每一行数据,会被解析key 这里的key是指每一行的起始偏移量,value就是这一行的内容。
其次把拿到的数据进行分区,框架对map函数输出的进行分区。不同分区中的由不同的reduce task处理,默 认只有1个分区,所以所有的数据都在一个分区,最后只会产生一个reduce task。 经过这个步骤之后,数据没什么变化,如果有多个分区的话,需要把这些数据根据分区规则分开,在这里 默认只有1个分区。
最后就是对数据进行些简单的排序存进我们要存进的文件。
有一个需要记住的就是,MapReduce关键的是Map,Reduce可以忽略,不过对于我们来说,Map是核心,Reduce就是锦上添花的意思。可以添加一些人性化。
我是曜耀,下次见。