sqoop安装

下载：

Index of /dist/sqoop

解压

tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

cd /usr/local/sqoop/conf

cp sqoop-env-template.sh sqoop-env.sh

vi sqoop-env.sh

增加如下配置

export HADOOP_COMMON_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=/usr/local/hadoop
export HIVE_HOME=/usr/local/hive
export ZOOKEEPER_HOME=/usr/local/zookeeper
export HBASE_HOME=/usr/local/hbase
 

将mysql驱动包放到sqoop/lib下。

cp mysql-connector-java-5.1.27-bin.jar ../sqoop/lib

验证sqoop

连接mysql

bin/sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password 密码

导入数据：从关系型数据库（RDBMS）导入大数据集群（HDFS,HIVE,HBASE）中传输数据。用import导入

导入数据：

1、全部导入

bin/sqoop import \
--connect jdbc:mysql://localhost:3306/company \
--username root \
--password 密码 \
--table staff \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t"

 

 导入成功后可以在Hadoop中看到。

 2、查询导入

bin/sqoop import \
--connect jdbc:mysql://localhost:3306/company \
--username root \
--password 111111 \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--query 'select name,sex from staff where id <=1 and $CONDITIONS;'

3、导入指定列

bin/sqoop import \
--connect jdbc:mysql://localhost:3306/company \
--username root \
--password 111111 \
--table staff \
--columns id,sex \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" 

 4、where

 bin/sqoop import \
--connect jdbc:mysql://localhost:3306/company \
--username root \
--password 111111 \
--table staff \
--columns id,sex \
--where "id=1" \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" 

5、RDBMS到HIve
bin/sqoop import \
--connect jdbc:mysql://localhost:3306/company \
--username root \
--password 111111 \
--table staff \
--num-mappers 1 \
--hive-import \
--fields-terminated-by "\t"  \
--hive-overwrite \
--hive-table staff_hive

提示：该过程分两步，第一步将数据导入到HDFS,第二步将导入到HDFS的数据迁移到Hive仓库，第一步默认的临时目录是/user/atguigu/表名

 

6、RDBMS到HBase

bin/sqoop import \
--connect jdbc:mysql://192.168.3.58:3306/company \
--username root \
--password 111111 \
--table staff \
--columns "id,name,sex" \
--column-family "info" \
--hbase-create-table \
--hbase-row-key "id" \
--hbase-table "hbase-company" \
--num-mappers 1 \
--split-by id

直接在sqoop执行报错，因为版本不兼容，需要先在HBASE上建表。

导出：从大数据集群（HDFS/HIVE/HBASE）向非大数据集群（RDBMS）中传输数据。使用export关键字.

从HIVE导出数据到mysql

bin/sqoop export \
--connect jdbc:mysql://192.168.3.58:3306/company \
--username root \
--password 111111 \
--table staff \
--num-mappers 1 \
--export-dir /user/hive/warehouse/staff_hive \
--input-fields-terminated-by "\t"

hadoop查看运行时错误日志。

运行导出到mysql命令卡住后看日志，由日志可以看出，是因为主键冲突了，删掉数据后，过一会就会导入成功。