Fayson的github: https://github.com/fayson/cdhproject
推荐关注微信公众号:“Hadoop实操”,ID:gh_c4c535955d0f
1 问题重现
- 测试环境:
1.RedHat7.4
2.CDH6.1.1
3.使用root进行操作
1.使用Impala创建Parquet表并插入数据
create table test_parquet(id int,name string) stored as parquet;
insert into test_parquet values(1,'test'),(2,'vivi');
2.使用Impala查看数据,数据显示正常。
select * from test_parquet;
3.使用CDH6.1.1中的Spark2.4访问该数据文件。
val df=spark.read.parquet("hdfs://ip-172-31-6-83.ap-southeast-1.compute.internal:8020/user/hive/warehouse/test_parq