sqoop导出orc数据至mysql_Sqoop 支持 ORC 文件格式

ORC 介绍

ORC 文件格式是 Hive 0.11.0 版本引入的一种文件格式。ORC 的引入是为了解决其他 Hive 文件格式的局限性。使用 ORC 文件格式提升 Hive 读取、写入及处理数据的性能。

与 RCFile 对比，ORC 文件格式有很多优点：每个 Task 只输出一个文件，降低 NameNode 的负载。

Hive 数据类型支持，包括：datetime、decimal 以及复杂数据类型(struct、list、map、union)。

文件中存储轻量级的索引：跳过不通过谓语过滤的行组

跳转到指定的行

基于数据类型的块模式压缩：整型数据列采用行程长度编码(run-length encoding)

字符串数据列采用词典编码(dictionary encoding)

使用独立的 RecordReader 并发读取相同的文件

无需扫描 markers 就可以分割文件的能力

绑定读写需要的内存量

Sqoop 支持 ORC

通过 Sqoop-HCatalog 集成解决 Sqoop 不支持 ORC 的问题。

HCatalog 背景HCatalog 是 Hadoop 的一个 table 与存储管理的一个服务，用户可以更容易地使用不同的数据处理工具 Pig、MapReduce 和 Hive 读写数据。HCatalog 表的抽象呈现给用户一个 HDFS 分布式文件系统(HDFS)中的关系视图，用户不需要担心数据存储在哪里及数据的存储格式：RCFile 格式、text 文件、或者 SequenceFile。

HCatalog 支持读写任何实现了 Hive SerDe(serializer-deserializer)的文件格式。默认的，HCatalog 支持