大数据最新Hive数据存储模型(1)，附面试题

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

Hive 中的数据分为真实数据与元数据，一般来说Hive的存储格式是指真实数据的Hive 常用的存储格式包括以下4种：TEXTFILE、SEQUENCEFILE、RCFILE和ORCFILE。
存储格式。
1.TEXTFILE

常见的txt、csv、tsv等文件都属于TEXTFILE。Hive默认存储格式为TEXTFILE,即创建表时如果不单独指定存储格式，则认为存储格式为TEXTFILE。存储格式为按行存储，内容为普通的文本格式，一般可以使用cat 命令直接查看。TEXTFILE 格式的数据文件无须任何处理即可导入Hive，文件每一行为一条记录，记录可用任意分隔符进行列分割，记录之间须以行结束符分割。Hive将TEXTFILE映射为表的过程中，将会逐个字符地判断是否为列分隔符或行分隔符。
TEXTFILE 支持使用Gzip 压缩，但Gzip压缩后的文件将不再支持MapReduce分割机制，这意味着压缩后的文件不论有多少个HDFS块都只能被一个Map任务处理，即失去了使用集群并行处理的优势。
2. SEQUENCEFILE
SEQUENCEFILE 是Hadoop 提供的一种由“二进制序列化过的Key/Value字节流”组成的文本存储文件格式。其由于内容为二进制字节，所以无法通过cat命令查看原始字符，这可以抽象地理解为，在SEQUENCEFILE中每条记录均以键值对的方式进行存储，仅支持追加。与TEXTFILE类似，SEQUENCEFILE同样按行存储
Hive无法直接导入SEQUENCEFILE格式的数据文件。数据须首先导入至TEXTFILE格式的表中，然后再从TEXTFILE格式的表中采用插入方式导入至SEQUENCEFILE格式的表。
SEQUENCEFILE 是可分割的文件格式，支持3种压缩选项。
（1）NONE：不压缩。
（2)  RECORD（默认选项）：记录级压缩，压缩率低。
（3）BLOCK：块级压缩，压缩率高。
3. RCFILE
RCFILE (Record-Columnar File）是Facebook开发的一种专门面向列的数据存储格式，不同于TEXTFILE 和SEQUENCEFILE，RCFILE是基于行列混合存储思想的设计。
4. ORCFILE
ORCFILE(Optimized Row-Columnar File）是对 RCFILE的优化，可以提供一种高效的方法来存储Hive 数据。ORCFILE的特点是：支持压缩比很高的压缩算法，文件可切分，提供多种索引，支持复杂的数据结构。

1.2 hive数据单元

Hive 所有真实数据都存储在HDFS中，这样更有利于对数据做分布式计算。为了有效地对真实数据进行管理，根据粒度大小，Hive 将真实数据划分为如下数据单元。
1.数据库
数据库（Databases)类似于RDBMS中的数据库，在HDFS中表现为 hive.metastore warehouse.dir目录下的一个文件夹，其本质是用于避免表、视图、分区、列等命名冲突的命名空间。
2.表
表（Tables）由列构成，在表上可以进行过滤、映射、连接和联合操作。表在 HDFS中表现为所属数据库目录下的子目录，具体又分内部表和外部表。内部表类似于RDBMS中的表，由Hive管理。外部表指向已经存在HDFS中的数据，与内部表元数据组织是相同的，但其数据存放位置是任意的。外部表的真实数据不被Hive管理，即当删除一张内部表时，元数据以及HDFS上的真实数据均被删除，而删除外部表则只会删除元数据而不会删除真实数据。
3.分区
每个表都可以按指定的键分为多个分区（Partitions)。分区的作用是提高查询的效率，
其在HDFS中表现为表目录下的子目录。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**