用sparkSql 读取parquet文件数据传输到hbase
parquet文件在impala创建的hive表下
核心代码:
val df = spark.read
.option("mergeSchema", "true")
.parquet(path)
.select("xxx1", "xxx2", "xxx3")
df.show()
发现:
+---------+---------------+--------------------+
|200000466| 1608074319|[7B 22 41 5F 46 6...|
|200000466| 1608076351|[7B 22 41 5F 46 6...|
|200000466| 1608077368|[7B 22 41 5F 46 6...|
|200000466| 1608081779|[7B 22 41 5F 46 6...|
|200000466| 1608082796|[7B 22 41 5F 46 6...|
|200000466| 1608083135|[7B 22 41 5F 46 6...|
第三个 String类型字段 变成了上面这样 || 疑惑。。。。
百度了一下,没有这个问题的分享
继续自己查找问题。。。
解决:
最后终于在一篇文章中发现了端倪
出现这样的问题 是因为impala的底层 和hive的底层不同 impala会将String转化为二进制来存储!!!
ok,知道了问题 就好找解决方案了