从天池学习Mapreduce和sql2016.10.15

从今天开始系统的记录每天的学习工作。

1、Mapreduce计算框架概述

整个的MapReduce过程可以看成是：输入-->map阶段-->中间处理（排序聚合等）-->reduce-->输出

其中输入是以键值对的形式输入的（key，value），这也就是MapReduce一般可以和SQl结合。

2、在ODPS中遇到了一个MAPJOIN的连接方式，这种方式是在一张大表和一张或几张小表结合时使用的由于。普通的join在使用的时候首先是对大小表进行同样的map，然后经过shuffle，发给reduce执行，因为数据量大容易阻塞。

而由于大表的储存实在很多不同的机器上，所以可以先把小表拷贝到每一个worker上，让达标的每一个片段和小表进行JION计算，生产结果。这样不需要shuffle不需要reduce。

使用方法为：

<span style="font-size:18px;">SELECT /*+ MAPJION(u) */
	u.user.id,
	u.age,
        p.ip, 
        p.time
FROM user u
JOIN page p
ON u.user_id = p.user.id</span>

其中

<span style="font-size:18px;">/*+ MAPJION(u) */</span>

u就是小表，而p就是大表，且在使用a LEFT OUTER JION b时b只能是小表。

3、还有一个应该注意的ODPS的sql中对于普通连接只支持等值连接，而MAPJOIN支持不等值表达。

4、distinct是用来去重的，要加上AS

select count(distinct name) AS cnt from A;	

5、GROUP BY使用的时候应该包含所有除了聚合函数（如count项）和列无关计算函数（如max）的项。

6、ODPS的所有SQL语句都和MapReduce有一定的联系所以有适当的变化。

如使用ORDER BY时必须有LIMIT N一起，因为ORDER BY是全局排序，所有的数据最后在一个reduce上进行处理，数据量大时，过慢，用LIMIT限制reduce只需要处理N*Mapper数量的记录进行归并排序。

ODPS还提供了 SORT BY（局部排序，只对同一路Reducer中的数据进行排序） 和DISTRIBUTE BY（按指定的字段将数据划分到不同的Reducer中）。这两个通常一起使用。简单说就是DISTRIBUTE BY虽然将指定字段放到同一个Reducer中了，但不保证这个Reducer中不含有其他的字段。

7、UNION ALL多表关联，需要在子查询中实现。

8、多路输出，将同一张表的分析写入不同的数据表中。先写FROM 然后跟几个INSERT就可以了。