hive的数据库、表、分区、分桶相关概念

hive的数据库、表、分区、分桶相关概念

• hive的所有数据存储基于hadoop的HDFS，hive没有专门的数据存储格式（可支持Text，SequenceFile，ParquetFile，RCFILE等）

• 在创建表时，指定Hive 数据的列分隔符和行分隔符，Hive 就可以解析数据

• 存储结构主要包括：数据库、文件、表、视图、索引

• Hive 中包含以下数据模型：DB、Table，External Table，Partition，Bucket

1） db：在hdfs中表现为${hive.metastore.warehouse.dir}目录下一个文件夹

2） table：在hdfs中表现所属db目录下一个文件夹
3） external table：外部表, 与table类似，不过其数据存放位置可以在任意指定路径。普通表:删除表后,hdfs上的文件都删了；外部表删除后, hdfs上的文件没有删除, 只是把文件删除了
4） partition：在hdfs中表现为table目录下的子目录
5） bucket：桶, 在hdfs中表现为同一个表目录下根据hash散列之后的多个文件, 会根据不同的文件把数据放到不同的文件中