Sparksql读impala hive表下parquet文件 String读取问题分享

用sparkSql 读取parquet文件数据传输到hbase   

parquet文件在impala创建的hive表下

核心代码：

val df = spark.read
  .option("mergeSchema", "true")
  .parquet(path)
  .select("xxx1", "xxx2", "xxx3")

df.show()

发现：

+---------+---------------+--------------------+
|200000466|     1608074319|[7B 22 41 5F 46 6...|
|200000466|     1608076351|[7B 22 41 5F 46 6...|
|200000466|     1608077368|[7B 22 41 5F 46 6...|
|200000466|     1608081779|[7B 22 41 5F 46 6...|
|200000466|     1608082796|[7B 22 41 5F 46 6...|
|200000466|     1608083135|[7B 22 41 5F 46 6...|
 

第三个 String类型字段 变成了上面这样    || 疑惑。。。。

百度了一下，没有这个问题的分享  

继续自己查找问题。。。

解决：

最后终于在一篇文章中发现了端倪

出现这样的问题 是因为impala的底层 和hive的底层不同   impala会将String转化为二进制来存储！！！

ok,知道了问题 就好找解决方案了