Hadoop中的Sequence File文件是什么？【大数据面试题】

最新推荐文章于 2023-10-19 15:03:28 发布

qq_1456507655

最新推荐文章于 2023-10-19 15:03:28 发布

阅读量715

点赞数 1

分类专栏：大数据文章标签：大数据 hadoop hive

本文链接：https://blog.csdn.net/qq_41293655/article/details/114837640

版权

Sequence File是Hadoop用于存储二进制键值对的平面文件格式，不按Key排序，常用于小文件存储。支持NONE、RECORD、BLOCK三种压缩方式，与MapFile兼容。对比其他如TEXTFILE、RCFile、ORCFile，SequenceFile在压缩率和查询速度上有特定应用场景，适用于存储小的二进制文件。

摘要由CSDN通过智能技术生成

问题分析

Hadoop可以存储多种文件格式。Sequence File这个格式需要知道。

核心答案讲解

1.sequenceFile文件是Hadoop用来存储二进制形式的[Key,Value]对而设计的一种平面文件(Flat File)。

2.可以把SequenceFile当做是一个容器，把所有的文件打包到SequenceFile类中可以高效的对小文件进行存储和处理。

3.SequenceFile文件并不按照其存储的Key进行排序存储，SequenceFile的内部类Writer提供了append功能。SequenceFile中的Key和Value可以是任意类型Writable或者是自定义Writable。

4.在存储结构上，SequenceFile主要由一个Header后跟多条Record组成，Header主要包含了Key classname，value classname，存储压缩算法，用户自定义元数据等信息，此外，还包含了一些同步标识，用于快速定位到记录的边界。每条Record以键值对的方式进行存储，用来表示它的字符数组可以一次解析成：记录的长度、Key的长度、Key值和value值，并且Value值的结构取决于该记录是否被压缩。

问题扩展

HDFS文件存储格式

1.TEXTFILE

Hive数据表的默认格式，存储方式：行存储。可以使用Gzip压缩算法，但压缩后的文件不支持split。在反序列化过程中，必须逐个字符判断是不是