MapReduce_Hadoop入门简介

最新推荐文章于 2023-06-01 11:50:29 发布

mmc2015

最新推荐文章于 2023-06-01 11:50:29 发布

阅读量980

点赞数 1

分类专栏：分布式与云计算文章标签：大数据 hadoop 分布式与云计算 hadoop入门

本文链接：https://blog.csdn.net/mmc2015/article/details/49406287

版权

本文介绍了MapReduce的背景，从面临的技术挑战到Hadoop大数据处理框架的引入，详细阐述了MapReduce思想来源及其在Hadoop中的实现。通过实例展示了MapReduce的工作原理，包括Mapper和Reducer阶段，以及在Hadoop中执行WordCount程序的过程。

摘要由CSDN通过智能技术生成

内容摘自北大某课程。

1）MapReduce之前，面临的挑战（从“scale-up”到“scale-out”）：

2）产业界现状：

3）学术界现状：

4）hadoop大数据处理框架：

5）MapReduce思想来源：

http://www.kwstu.com/ArticleView/hadoop_201408181111391704

 
        alert( 
        "I'd like some Spaghetti!" 
        ); 
       
        alert( 
        "I'd like some ChocolateMousse!" 
        );

看到这代码，感觉不顺眼，改之：

 
        function SwedishChef(food) 
       
        {
          
        alert( 
        "I'd like some "  
        + food +  
        " !" 
        ); 
       
        } 
       
        SwedishChef( 
        "Spaghetti" 
        ); 
       
        SwedishChef( 
        "Chocolate Mousse" 
        );

这类用函数取代重复代码的重构方式好处很多，优点很多，就不多说了！

再看这段：

 
        alert( 
        "get the lobster" 
        ); 
       
 
        PutInPot( 
        "lobster" 
        ); 
       
 
        PutInPot( 
        "water" 
        ); 
       
 
        alert( 
        "get the chicken" 
        ); 
       
 
        BoomBoom( 
        "chicken" 
        ); 
       
 
        BoomBoom( 
        "coconut" 
        ); 
       

看起来这段代码好像也有点重复的味道在里面，改之：

 
        function Cook(i1,i2,f) 
       
        {
          
        alert( 
        "get the "  
        + i1); 
       
        f(i1); 
       
        f(i2); 
       
        } 
       
        Cook( 
        "lobster" 
        , 
        "water" 
        ,PutInPot); 
       
        Cook( 
        "chicken" 
        , 
        "coconut" 
        ,BoomBoom);