Hive SQL中文乱码 中文筛选条件
我们编辑器环境的中文编码可能与Hive表中的中文编码不一致,但是我们有时候需要用到例如case when的语句,涉及中文的判断,例如:
case
when province='海外' then city
else '中国'
end as country
此时,如果发现这个判断逻辑无效,或者结果字段中文乱码时,可能原因是我们编辑器的可能是GBK或者UTF-8。解决方案是转成Unicode编码,该语句变为:
case
when province='\\u6d77\\u5916' then city
else '\\u4e2d\\u56fd'
end as country
注意:
“中国”对应Unicode是 \u4e2d\u56fd,如果HQL是脚本执行,通常\ 需要再加 \ 转义,所以为 \u4e2d\u56fd