Hive与数据库比较 & hive中4个By的比较

Hive 和数据库比较

Hive 和数据库除了拥有类似的查询语言，再无类似之处。

1数据格式：hive数据格式可以用户自定义，mysql有自己的系统定义格式；
2数据规模：hive存储的数据量超级大，而mysql只是存储一些少量的业务数据；
3数据存储位置：Hive 存储在 HDFS 。数据库将数据保存在块设备或者本地文件系统中。
4数据更新 ：Hive 中不建议对数据的改写。而数据库中的数据通常是需要经常进行修改的

Sort by Order by Distrbute by Cluster by

1）Sort By：分区内有序；
不是全局排序，其在数据进入reducer前完成排序，也就是说它会在数据进入reduce之前为每个reducer都产生一个排序后的文件。因此，如果用sort by进行排序，并且设置mapreduce.job.reduces>1，则sort by只保证每个reducer的输出有序，不保证全局有序。
2）Order By：全局排序，只有一个 Reducer；
order by会对输入做全局排序，因此只有一个Reducer(多个Reducer无法保证全局有序)，然而只有一个reducer，会导致当输入规模较大时，消耗较长的计算时间
3）Distrbute By：类似 MR 中 Partition，进行分区，结合 sort by 使用。
distribute by是控制在map端如何拆分数据给reduce端的。类似于MapReduce中分区partationer对数据进行分区

hive会根据distribute by后面列，将数据分发给对应的reducer，默认是采用hash算法+取余数的方式。
4）Cluster By：当 Distribute by 和 Sorts by 字段相同时，可以使用 Cluster by 方式。Cluster
by 除了具有 Distribute by 的功能外还兼具 Sort by 的功能。但是排序只能是升序排序，不能
指定排序规则为 ASC 或者 DESC