我思，故我在！--My data life

一、            Sqoop概述Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 二、            Sqoop安装配置软件下载：Sqoop官方版本：http://apac

Sqoop 工具是hadoop环境下连接关系数据库，和hadoop存储系统的桥梁，支持多种关系数据源和hive,hdfs,hbase的相互导入。一般情况下，关系数据表存在于线上环境的备份环境，需要每天进行数据导入，根据每天的数据量而言，sqoop可以全表导入，对于每天产生的数据量不是很大的情形可以全表导入，但是sqoop也提供了增量数据导入的机制。下面介绍几个常用的sqoop的命令，以及一些参

安装环境：Hive: hive-0.11.0Hadoop: Hadoop 1.2.1Sqoop: sqoop-1.4.4.bin__hadoop-1.0.0Oralce driver: ojdbc6.jar软件下载：Hive: http://apache.dataguru.cn/hive/Hadoop: http://apache.dataguru.cn/had

环境：CDH5.7hadoop2.6.0hive1.1.0问题1：使用sqoop把mysql导入hive时报错# sqoop import --hive-import --connect jdbc:mysql://10.1.32.34:3306/dicts --username sqoop --password sqoop -m 1 --table nodist --create-hive-tab

问题：把mysql导入到hive时，由于hive的类型不支持mysql的类型，出现导入错误,如下：[hdfs@hadoop0 ~]$ sqoop import --connect jdbc:mysql://10.1.32.34:3306/dicts --username sqoop --password sqoop  -m 1 --table ua --hive-import --hive-ove

问题1：sqoop import导入时报java.lang.ClassNotFoundException: org.json.JSONObject 错误[root@hadoop1 lib]# sqoop import --connect jdbc:mysql://10.1.32.8:3306/test --username sqoop --password sqoop --table t1 -m