数据hive常见问题

最新推荐文章于 2024-06-02 09:56:09 发布

bigdataf

最新推荐文章于 2024-06-02 09:56:09 发布

阅读量389

点赞数

分类专栏：大数据文章标签： hive 乱码

本文链接：https://blog.csdn.net/bigdataf/article/details/78627804

版权

大数据专栏收录该内容

38 篇文章 0 订阅

订阅专栏

1.mysql 导入时问题转码，避免乱码
mysql源有各种字符集

#字符转换
CONVERT ( CONVERT (fieldname USING BINARY) USING gbk ) as fieldname
#防止换行
trim(replace(replace(replace(`fieldname`,"\\r\\n",""),"\\r",""),"\\n",""))  as `fieldname`,

2 hive分个符

1. 对于文件默认\n 换号符来作为一行记录的分割
2. ^A,该默认的分割是"CTR+A"，ASCII码排第二位的字符，是不可见字符，二进制表示：'\u0001'。
3. ^B ,ARRARY中或者STRUCT中元素，或者map中键值分割
4. ^C map键值分割
5. sqoop导入，若记录中含有"由空格组成的字符串"，由于空字符串是由引号括起来，因此，需要对引号进行转义，设置escaped属性