0639-6.1.1-Spark读取由Impala创建的Parquet文件异常分析

最新推荐文章于 2023-05-18 10:06:28 发布

Hadoop_SC

最新推荐文章于 2023-05-18 10:06:28 发布

阅读量538

点赞数

分类专栏： Hadoop实操

本文链接：https://blog.csdn.net/Hadoop_SC/article/details/101127161

版权

本文分析了Spark在读取由Impala创建的Parquet文件时遇到的字符串显示为二进制的问题，详细介绍了问题的原因、如何通过Spark SQL、定义schema以及启动参数来解决这个问题，并提供了相应的配置参考。

摘要由CSDN通过智能技术生成

Fayson的github： https://github.com/fayson/cdhproject

推荐关注微信公众号：“Hadoop实操”，ID：gh_c4c535955d0f

1.RedHat7.4
2.CDH6.1.1
3.使用root进行操作

1.使用Impala创建Parquet表并插入数据

create table test_parquet(id int,name string) stored as parquet;
insert into test_parquet values(1,'test'),(2,'vivi');

在这里插入图片描述
2.使用Impala查看数据，数据显示正常。

select * from test_parquet;

在这里插入图片描述
3.使用CDH6.1.1中的Spark2.4访问该数据文件。

val df=spark.read.parquet("hdfs://ip-172-31-6-83.ap-southeast-1.compute.internal:8020/user/hive/warehouse/test_parq

关注