Hive存储引擎

Hive存储引擎

  为什么Hive会有多种存储格式？因为Hive是文本批处理系统，所以就存在一个往Hive中导入数据的问题，首先数据的存储格式有多种，比如数据源是二进制格式， 普通文本格式等等，而Hive强大之处不要求数据转换成特定的格式，而是利用Hadoop本身InputFormat API来从不同的数据源读取数据，同样地使用OutputFormat API将数据写成不同的格式。所以对于不同的数据源，或者写出不同的格式就需要不同的对应的InputFormat和Outputformat类的实现。

 实际上hive使用一个TextInputFormat对象将输入流分割成记录，
 然后使用一个HiveIgnoreKeyTextOutputFormat对象来将记录格式化为输出流（比如查询的结果），
 再使用Serde在读数据时将记录解析成列。在写数据时将列编码成记录。
 所以stored as ''只是决定了行级别（记录级别 ）的存储格式，
 而实际将记录解析成列依靠的则是Serde对象，比如hive默认的
 ROW FORMAT