Hadoop的Mapreduce是一个分布并行处理大数据的程序框架，一个Map/Reduce 作业（job） 通常会把输入的数据集切分为若干独立的数据块，由 map任务（task）以完全并行的方式处理它们。框架会对map的输出先进行排序， 然后把结果输入给reduce任务。通常作业的输入和输出都会被存储在文件系统中。
MapReduce程序是通过键值对来操作数据的，其单个输入输出形式如下：
map: key1,value1 ----> list(key2,value2)
redu
Hadoop的MapReduce框架用于并行处理大数据，作业将输入数据切分成块并由map任务处理。map输出经过排序后输入reduce任务。MapReduce程序通过键值对操作数据，InputFormat接口定义文件读取，RecordReader处理输入记录，Mapper转换为list(key2, value2)。Combiner可本地聚合减少输出，Partitioner决定reducer分配，Reducer生成最终的(key3, value3)。OutputFormat接口则定义结果输出格式。"
112812835,9615141,深大数据库期末考试总结,"['数据库', 'SQL', '数据库设计', '数据库系统', '数据库理论']
最低0.47元/天 解锁文章
6万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
