hadoop，hive，MapReduce，调度器，项目总结及性能优化

hadoop 的性能优化

 

MapReduce

 

调度器

 

MapReduce中实现join

 

MapReduce Join

map join：适合小文件和大文件的join

       Join过程发生在Map端

       每个Map  task都可以直接读取到小文件内容 与大文件的每一个块进行join.

       分布式join

       小文件：文件大小 < 1个块的大小

reduce join

join过程发生Reduce

目标数据：

1,Stephanie Leung,555-555-5555 ,B,88.25,20-May-2008

map端

       读取2个文件,打标签,2个文件有主外键关系

1,Stephanie Leung,555-555-5555  user

1,B,88.25,20-May-2008           order

shuffle

              1,[{ Stephanie Leung,555-555-5555},{B,88.25,20-May-2008},{B,88.25,20-May-2008}]

reduce端

       判定每一条记录，

              先取出User标签的数据:只有一条

                     将所有客户信息保存为变量：userInfo

              再取出order标签的数据：orderInfo

              拼接：userInfo + orderInfo

             

semi join:map和reduce都有

(1)将不需要JOIN的数据在Map端直接过滤掉

       将主表A中所有ID放入缓存（分布式缓存）

       取出B表的每个Id，

              判定B的id是在分布式缓存中存在，如果不存在，直接过滤掉

(2)reduce 端join