分桶查询:
hive (xiaoliu)> set mapreduce.job.reduces=3;
hive (xiaoliu)> set mapreduce.job.reduces;
mapreduce.job.reduces=3
hive (xiaoliu)> select * from student cluster by(sno);
查询结果导出到本地:
hive (xiaoliu)> insert overwrite local directory '/home/xiaokang/hive_load/aaa777'
> select * from student cluster by(sno);
[xiaokang@hadoop ~]$ cd hive_load/aaa777/
[xiaokang@hadoop aaa777]$ ll
总用量 12
-rw-r--r-- 1 xiaokang hadoopenv 208 10月 15 16:10 000000_0
-rw-r--r-- 1 xiaokang hadoopenv 170 10月 15 16:10 000001_0
-rw-r--r-- 1 xiaokang hadoopenv 164 10月 15 16:10 000002_0
[xiaokang@hadoop aaa777]$ cat 000000_0
\N\N\N\N\N
95001李勇男20CS
95004张立男19IS
95007易思玲女19MA
95010孔小涛男19CS
95013冯伟男21CS
95016钱国男21MA
95019邢小丽女19IS
95022郑明男20MA
根据学生编号(Sno)进行分桶,根据年龄(Sage)进行排序:
hive (xiaoliu)> select * from student distribute by(Sno) sort by(sage asc);
总结:
①cluster by(分桶且排序,分桶字段和排序字段必须一样)
②distribute by(分桶)+sort by(排序)(分桶字段和排序字段可以不一样)
说明:
1.order by会对输入做全局排序,因此只有一个reducer,会导致当输入规模较大时,需要较长计算时间
2.sort by不是全局排序,其在数据进入reducer前完成排序。因此,如果用sort by进行排序,并且设置mapred.reduce.tasks>1,则sort by只保证每个reducer的输出有序,不保证全局有序。
hive (xiaoliu)> select * from student order by(sage);