hive上报ERROR:10004错误和order by ,sort by区别

在使用hive写hql时报10004错误，提示列字段名称错误。这是一个很常见的错误。下面分析下这个错误的原因。

例如：select name,count(1) from student group by name order by id;

上面的语句在运行时就会报错，为什么呢？因为order by 在hive中是全局排序，也即是前面的执行完之后再起一个job对结果集进行全局排序。但上个job执行完以后列名变成了 name和 count（1）根本就没有id这个列名，所以会报10004错误，提示你列名不匹配。

例如：select id from (select id as i from student ) order by id;

上面的语句也会报错，因为先执行子查询后id字段已经改为i列名，外面的查询已经拿不到id字段，所有报列名不匹配错误。

其实会犯这种错误，就是因为不了解hive在执行hql时底层的job执行逻辑，仍然按照传统的sql逻辑去思考问题，就会被问题困住。

这里记录下hive的order by ,sort by 的区别

order by 是对查询后的结果进行全局排序，sort by 是对每个reduce的结果进行排序的。如果数据很大不建议order by因为会引起内存不足。