hive升级到0.11的体验

最近将hive升级到0.11的版本体验了下，发现还是有些问题需要注意。

问题1：

语法错误：报错信息如下：

FAILED: SemanticException Failed to breakup Windowing invocations into Groups. At least 1 group must only depend on input columns. Also check for circular dependencies.
原因很是坑爹，因为在0.11的版本中增加了一个rank函数。而在0.9的版本里，我们自定义了一个rank函数，所以有了冲突，解决方式：将我们自定义的rank函数改名即可。

 

问题2：

count(distinct）加group by的组合。出来的结果不正确，补充：正是这个原因，导致后面很多join的操作，将数据无限的放大，最终导致本来计算出来的结果就几MB的容量，膨胀到5个多GB。

 

问题3：

相关的join操作，执行进度变慢，而且是一个非常简单地join操作，也需要3个小时以上，没升级之前在30分钟左右。

 

问题4：

RCFile文件格式前缀有变化，在0.9的版本是SEQ，在0.11的版本是RCF

 

总结：

目前0.11的版本更新还是很大的，很多功能测试不完善，所以暂建议生产环境下不要升级。如果升级了，需要进行回滚。0.11到0.10不需要修改元数据。

但是如果回滚到0.9的版本，需要修改元数据，参考hive的升级sql脚本即可。