Hive创建表时使用Unicode字符作为字段分隔符(hive unicode character as delimiter)

changbiao1990

于 2014-09-06 18:15:28 发布

阅读量6.9k

点赞数

分类专栏： Hadoop 文章标签： hive unicode character 欧元符号 delimiter

本文链接：https://blog.csdn.net/changbiao1990/article/details/39101983

版权

本文介绍了在Hive中处理使用欧元符号€作为字段分隔符的日志数据。通过了解到Java中可以使用负数表示大于128的分隔符，作者发现€的Unicode码0x80对应的负数形式是-128，于是使用'-128'作为Hive表的分隔符，成功导入数据。

摘要由CSDN通过智能技术生成

最近需要使用分布式数据库Hive管理日志数据，原始日志数据使用欧元符号€作为字段分隔符，如下图所示，创建hive表的时候就想指定€作为分隔符，这样就可以不用改变原始日志数据而直接导入hive中。

我就写了如下hive QL创建表，

CREATE TABLE subscription (RowNum BIGINT, UserNum BIGINT, Province STRING, City STRING, PayTime TIMESTAMP, PayType SMALLINT, PayID STRING, PayAmount DOUBLE, ContentPayType SMALLINT, PayContentID STRING, PayMethodType SMALLINT, ClientVersion STRING) clustered by(PayTime) into 32 buckets row format delimited fields terminated by '€' stored as textfile;

成功执行完下面sql语句后，高兴的以为成功导入了，

Load data local inpath'/media/172.16.46.6/changbiao/server/a_10000_*_VGOP1-R2.10-21201_*_*.dat.gz'into table subscription; <