3. RCFILE
RCFILE (Record-Columnar File)是Facebook开发的一种专门面向列的数据存储格式,不同于TEXTFILE 和SEQUENCEFILE,RCFILE是基于行列混合存储思想的设计。
4. ORCFILE
ORCFILE(Optimized Row-Columnar File)是对 RCFILE的优化,可以提供一种高效的方法来存储Hive 数据。ORCFILE的特点是:支持压缩比很高的压缩算法,文件可切分,提供多种索引,支持复杂的数据结构。
1.2 hive数据单元
Hive 所有真实数据都存储在HDFS中,这样更有利于对数据做分布式计算。为了有效地对真实数据进行管理,根据粒度大小,Hive 将真实数据划分为如下数据单元。
1.数据库
数据库(Databases)类似于RDBMS中的数据库,在HDFS中表现为 hive.metastore warehouse.dir目录下的一个文件夹,其本质是用于避免表、视图、分区、列等命名冲突的命名空间。
2.表
表(Tables)由列构成,在表上可以进行过滤、映射、连接和联合操作。表在 HDFS中表现为所属数据库目录下的子目录,具体又分内部表和外部表。内部表类似于RDBMS中的表,由Hive管理。外部表指向已经存在HDFS中的数据,与内部表元数据组织是相同的,但其数据存放位置是任意的。外部表的真实数据不被Hive管理,即当删除一张内部表时,元数据以及HDFS上的真实数据均被删除,而删除外部表则只会删除元数据而不会删除真实数据。
3.分区
每个表都可以按指定的键分为多个分区(Partitions)。分区的作用是提高查询的效率,
其在HDFS中表现为表目录下的子目录。
4.分桶
根据表中某一列的哈希值可将数据划分为多个分桶(Buckets),在HDFS中分桶表
现为同一个自录下根据哈希散列之后的多个交件。
可以看到,Hive 中的数据单元划分与RDBMS的物理模型非常类似。但在Hive数
据单元划分过程中还必须注意以下几点。
Hive 表没有主键。
Hive 表(0.14版本前)不支持行级操作,新版本中行级操作效率也比较低。
Hive 表不支持批量update操作,但可以先删除、再添加。
Hive分区和分桶可以极大提升数据查询效率。
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**