sqoop 导入mysql blob字段,Sqoop导入的数据格式问题

Sqoop简单介绍

Sqoop是用来在Hadoop平台和其他结构性存储(比如关系型数据库)之间解决大量数据传输问题的工具。也就是说可以从Oracle，MySQL，PostgreSQL等数据库中将数据传输到HDFS，Hive，HBase上，反之也可以。

简单说一下Sqoop的原理。它实际上就是将导入导出这个工作通过指令翻译成一个java文件，然后通过MapReduce来执行格式的转换和传输工作。

具体怎么配置，怎么使用，官方文档在这里 ——Sqoop User Guide 。

官方文档写得很全，其他博客其实没有官方文档写的清楚。

问题描述

我写了个接口能够根据用户输入的数据库类型，表名，数据库名，就可以自动生成对应的Sqoop脚本，用户自己就不用额外写一份可能还会出错的脚本，能直接用Sqoop将数据库中的数据抽取到Hive上。

以Oracle作为例子，Oracle中的数据抽出来转换为Java是由对应的映射关系的。问题就在于有些数据类型格式在Java中没有找到对应的映射关系，导致Sqoop导入失败。比如Oracle中的Bit，Blob，Clob，LongText字段。因此在执行脚本的时候会出现导入失败的问题。

后来通过阅读官方文档后得知，Sqoop在遇到这些特殊字段类型时，是可以强制转换的，具体看 SqoopUserGuide - controlling type mapping 。

--map-column-java 重写SQL到Java类型的映射

--map-column-hive 重写Hive到Java类型的映射

举个例子，比如说SQL中的原先字段id强制转为String类型ÿ