MapReduce模型简介:
实现步骤:
(1)对于大量的数据集,且分为非常多的独立小分片
(2)然后为每一个分片单独的启动一个map任务
(3)最终通过多个map任务,并行的在多个机器去处理
理念:计算向数据靠拢,只要有可能,MapReduce框架就会将Map程序就近在HDFS数据节点运行,即将计算节点和储存节点放在一起运行,减少节点数据之间的易懂开销。
核心函数:Map函数和Reduce函数
大数据相关概念随笔
最新推荐文章于 2021-05-25 23:15:51 发布
MapReduce模型简介:
实现步骤:
(1)对于大量的数据集,且分为非常多的独立小分片
(2)然后为每一个分片单独的启动一个map任务
(3)最终通过多个map任务,并行的在多个机器去处理
理念:计算向数据靠拢,只要有可能,MapReduce框架就会将Map程序就近在HDFS数据节点运行,即将计算节点和储存节点放在一起运行,减少节点数据之间的易懂开销。
核心函数:Map函数和Reduce函数