hive之建立的parquet外表，sparksql可读

最新推荐文章于 2023-08-08 16:06:57 发布

杨羊不是羊

最新推荐文章于 2023-08-08 16:06:57 发布

阅读量643

点赞数

分类专栏： SQL

本文链接：https://blog.csdn.net/YyangWwei/article/details/107918146

版权

SQL 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

方法一：
可以用spark sql读取该外表

create external table test_table_name (x STRING,y STRING,
z STRING )
 comment '表的作用'
 partitioned by (dayno string)
 ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
STORED AS 
INPUTFORMAT"org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat"
OUTPUTFORMAT"org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat" 
LOCATION 'hdfs://***/file';

alter table test_table_name  add partition(dayno=20200805) location 'hdfs://***/file/dayno=20200805'

方法二：sparksql读取失败，需要调试maven

create external table test_table_name (x STRING,y STRING,
z STRING
 )
 comment '表的作用'
 partitioned by (dayno string)
  ROW FORMAT SERDE 'parquet.hive.serde.ParquetHiveSerDe'
  STORED AS 
    INPUTFORMAT "parquet.hive.DeprecatedParquetInputFormat"
    OUTPUTFORMAT "parquet.hive.DeprecatedParquetOutputFormat"
    LOCATION 'hdfs://***/file';

create external table test_table_name (x STRING,y STRING,
z STRING
 )
 comment '表的作用'
 partitioned by (dayno string)
  ROW FORMAT SERDE 'parquet.hive.serde.ParquetHiveSerDe'
  STORED AS 
    INPUTFORMAT "org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat"
    OUTPUTFORMAT "org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat"
    LOCATION 'hdfs://***/file';