hive insert 中文数据乱码,如下:
insert into dt.test_test PARTITION (ymd = '2018-12-03') values("name#certno","张三#532901199103131815","FINANCE_ORGANIZATION","AA00002","asdfasdf","01","LOAN_GRAY","2018-10-23 13:00:00.000");
是不是很烦心呢,可以采用下面的方法避免插入的中文为乱码,还可以方便批量造数据后导入hive表。
一、创建表
Hive建表时指定行分隔符为"\t",列分隔符为"\n"。
hive -e "CREATE EXTERNAL TABLE dt.test_test (
dim string,
reason string ,
deci string ,
type string ,
reason string
)
PARTITIONED BY (ymd string)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
LINES TERMINATED BY '\n';"
二、导出表数据
hive -e "select * from dt.test_test" > /tmp/test/test.txt
编辑test.txt,新增、修改、删除数据
三、使用load data导入hdfs文件管理系统
方法一:hive命令行本地导入
load data local inpath ‘/tmp/test/test.txt’ overwrite into table dt.test_test PARTITION (ymd=“2018-12-19”);
查询dt.test_test,乱码完美解决,可以开心造数据了。
方法二:hive命令行hdfs导入
load data inpath ‘yangcong/res.txt’ overwrite into table temp.test_test PARTITION (ymd=“2018-12-19”);
方法三:hue web页面导入
load data inpath ‘yangcong/res.txt’ overwrite into table temp.test_test PARTITION (ymd=“2018-12-20”);
四、查询导入结果
查询temp.test_test,乱码完美解决,可以开心造数据了。