基于sqoop的导入导出操作

[Author]: kwu

SQOOP是用于对hdfs与关系型数据库之间进行导入导出数据，与hive一样sqoop也是通过MapReduce来实现的，但是sqoop只有mapper。
(1)把关系型数据库中的数据导入到HDFS、Hive、HBase中

(2)把HDFS、Hive、HBase中的数据导出到关系型数据库中

(3)优势：避免频繁打开数据库连接


1.把数据从mysql导入到hdfs
sqoop import --connect jdbc:mysql://hadoop-master.ganymede:3306/mytestdb  --username root --password root --table t_user --fields-terminated-by '\t'  


//对null数据的处理，转换成其他字符 *
sqoop import --connect jdbc:mysql://hadoop-master.ganymede:3306/mytestdb  --username root --password root --table t_user --fields-terminated-by '\t'  --null-string '*' 


//只使用一个mr
sqoop import --connect jdbc:mysql://hadoop-master.ganymede:3306/mytestdb  --username root --password root --table t_user --fields-terminated-by '\t'  --null-string '*'  -m 1


// 允许追加内容
sqoop import --connect jdbc:mysql://hadoop-master.ganymede:3306/mytestdb  --username root --password root --table t_user --fields-terminated-by '\t'  --null-string '*'  -m 1 --append 


// 导入到hive
sqoop import --connect jdbc:mysql://hadoop-master.ganymede:3306/mytestdb  --username root --password root --table t_user --fields-terminated-by '\t'  --null-string '*'  -m 1 --append  --hive-import
  
// 导入增量数据到hive  last-value 15 以数据库中的值开始
sqoop import --connect jdbc:mysql://hadoop-master.ganymede:3306/mytestdb  --username root --password root --table t_user --fields-terminated-by '\t'  --null-string '*'  -m 1 --append  --hive-import --check-column 'user_id' --incremental append --last-value 15
  

2.把数据从hdfs导出到mysql中
sqoop export --connect jdbc:mysql://hadoop-master.ganymede:3306/mytestdb --username root --password root --table t_user --fields-terminated-by '\t' --export-dir '/temp/user'


数据:
hadoop fs -cat /temp/user/user.txt
Tom     123     15
Java    test    16
Ganymede        123456  30


3.设置为作业，运行作业
sqoop  job --create sqoopjob  -- import --connect jdbc:mysql://hadoop-master.ganymede:3306/mytestdb  --username root --password root --table t_user --fields-terminated-by '\t'  --null-string '*'  -m 1 --append  --hive-import --check-column 'user_id' --incremental append --last-value 15


查看job
sqoop job --list 

执行job
sqoop job -exec sqoopjob


保存密码，打开配置password文件设置  vi sqoop-site.xml 
  <property>
    <name>sqoop.metastore.client.record.password</name>
    <value>true</value>
    <description>If true, allow saved passwords in the metastore.
    </description>
  </property>


删除job
sqoop job --delete sqoopjob