开发中hive常见的问题

最近做了一些etl处理，写了些hql语句，在此过程中，遇到一些小问题，趁着还能记得的时候，记录下来。

• concat
  concat是hive中的连接函数，返回输入字符串连接后的结果，支持任意个输入字符串

concat(String1,String2,String3....)

在我的hql语句中，通过concat将日期字段和时间字段进行拼接后排序，但是排序后的结果出现了乱序的情况，并没有按照理想的顺序进行排序，通过排查，发现，有一部分的日期字段的值为null。
通过进一步测试，发现，当使用concat进行连接多个字符串时，如果其中一个字符串的值为null，则最后的连接结果就是null。
对此，我的解决方案是，对可能出现null值的字段进行预处理后再进行连接。预处理时用到的函数是

#若果字段值不为空，该字段的值就等于表达式exp1的值，否则等于exp2的值
if(字段名 is not null,exp1,exp2）

此处需要注意的是，当表中存在索引的情况下使用带函数的字段，可能会破坏索引，因此需要在使用索引前，对字段进行预处理作为子查询使用。

• group by
  在使用group by的时候，如果select后面要查询的字段不在group by的字段中，那么该字段需通过collect_set()来查询。

• order by
  在hive中，order by和group by同时使用时，需要注意，order by引用的字段必须是在group by或者select字句中出现的字段。

• hive的编码集
  hive中默认的编码集是utf_8，但是Hadoop默认的输出编码集是没有BOM的utf_8的形式，因此可能会在加载过程中出现乱码问题。

• hive的外部表
  hive创建外部表时默认的格式是parquet，在删除外部表时，只删除元数据，不删除表数据。

• 加载文件到hive
  使用HDFS上的文件向hive表中加载时，加载完成后，该文件会被移动到hive表中对应的目录下

• Parquet不支持Date
  hive再创建表时如果指定类型为Parquet，则表字段类型不能存在Date类型