HiveServer2的常见问题

1. 在使用hiveserver2查询时（比如HUE，或者beeline连10000端口），会遇到这样的问题，where语句后如果使用了between，则between的两个值必须不一样，否则在hiveserver2中是查不出数据的，如果值一样的时候，直接用“=”。

例如： where date between 20160425 and 20160425 (hiveserver2 not OK, spark sql OK, hive -e OK), 需要写作where date=20160425

           where date between 20160420 and 20160425 ( OK)

 

2. Hive中中文注释问题

在hive中，如果要给字段或者表名增加中文的注释，会失败。

表或者字段有中文的时候需要修改hive的元数据库的设置。
以mysql为例子，当mysql的字符集设置成utf8的时候使用hive会有问题，详细见hive的wiki。

所以当hive使用mysql作为元数据库的时候mysql的字符集要设置成latin1。
为了保存那些utf8的中文，要将mysql中存储注释的那几个字段的字符集单独修改为utf8。

 

(1)修改表字段注解和表注解

alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8

alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8

(2) 修改分区字段注解：

 alter table PARTITION_PARAMS  modify column PARAM_VALUE varchar(4000) character set utf8 ; 

alter table PARTITION_KEYS  modify column PKEY_COMMENT varchar(4000) character set utf8; 

(3)修改索引注解：

alter table  INDEX_PARAMS  modify column PARAM_VALUE  varchar(4000) character set utf8;

然后修改Hive的Mysql连接为UTF-8（由于CDH的版本默认是UTF-8，所以此步骤可以省略）

 

修改hive连接mysql的连接为utf-8<property> 

 

   <name></name> 

 

  <value>jdbc:mysql://IP:3306/hive?createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8</value> 
  <description>JDBC connect string for a JDBC metastore</description> 
</property>

3 hive 查询时

hive -e "add jar /data/script/distance.jar;

 create temporary function calc_dist as 'com.ymm.UDF.Distance';

select b.truck_no, b.truck_length, b.truck_load, dc1.prov_short, dc1.city_short, dc2.prov_short, dc2.city_short, 

cast ((calc_dist( c1.lon, c1.lat, c2.lon, c2.lat).value)/1000 as int) as distance,  a.create_time, a.truck_user_id from 

(select  start as start_city, \`end\`  as end_city,  truck_user_id, create_time from ods_logistics.orders) a

join

 dw_info.dim_users  b on a.truck_user_id=b.user_id

left outer join dw.dim_city dc1 on a.start_city= dc1.id

left outer join dw.dim_city dc2 on a.end_city= dc2.id

left outer join ods_logistics.city c1 on a.start_city= c1.id

left outer join ods_logistics.city c2 on a.end_city= c2.id  where b.truck_no is not null and b.truck_no <> '' and dc1.city_short<>dc2.city_short order by a. truck_user_id desc limit 200000

" > /data/tmp/cm4.txt

查询时是先选择出字段再order by，所以如果要做order by， 字段必须在select语句中

4. 在hive的分区表中，如果新增了字段。当重新overwrite这个分区的时候，所有的这些新增字段都为null，解决办法是先drop掉这个partition再重新生成