hive分区对应hadoop_hive partition 分区详解一

最新推荐文章于 2021-12-26 08:30:00 发布

真力 GENELEC

最新推荐文章于 2021-12-26 08:30:00 发布

阅读量255

点赞数

文章标签： hive分区对应hadoop

本文链接：https://blog.csdn.net/weixin_29952383/article/details/111907378

版权

本文介绍了Hive中查看分区的三种方法：show partitions展示基本分区情况，desc显示表结构与partition information，desc extended提供详细的分区信息，包括location等。通过这些命令，可以有效管理和理解Hive分区。

摘要由CSDN通过智能技术生成

一.查看分区命令

1.show partitions xxx

hive> show partitions xxx;

day=20150908

day=20151020

day=20151021

day=20151022

...

day=20160318

Time taken: 0.139 seconds, Fetched: 144 row(s)

由此可见上述命令显示了基本的分区情况

2.desc xxx partition(day=20160315

hive> desc xxx partition(day=20160315);

list_time string

cookie string

device_id string

os string

device_brand string

search_id string

search_guid string

...

filter string

day string

# Partition Information

# col_name data_type comment

day string

Time taken: 0.359 seconds, Fetched: 36 row(s)

此命令显示了表结构与partition information

hive> desc extended ods_search_log_app partition(day=20160315);

list_time string

cookie string

device_id string

os string

device_brand string

search_id string

search_guid string

...

coupon string

filter string

day string

# Partition Information

# col_name data_type comment

day string

Detailed Partition Information Partition(values:[20160315], dbName:xxx, tableName:xxx, ............. location:hdfs://mycluster/data/hive/warehouse/xxx/xxx/day=20160315, inputFormat:org.apache.hadoop.mapred.TextInputFormat, outputFormat:org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat, compressed:false, numBuckets:-1, serdeInfo:SerDeInfo(name:null, serializationLib:org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe, parameters:{serialization.format=1}), bucketCols:[], sortCols:[], parameters:{}, skewedInfo:SkewedInfo(skewedColNames:[], skewedColValues:[], skewedColValueLocationMaps:{}), storedAsSubDirectories:false), parameters:{transient_lastDdlTime=1458083053})

Time taken: 0.369 seconds, Fetched: 38 row(s)

多了个Detailed Partition Information，最初使用这条命令的初衷，是查找分区对应的location，使用这条命令可以找到