Apache Sqoop介绍及入门总结

1．sqoop介绍
Apache Sqoop是在Hadoop生态体系和RDBMS体系之间传送数据的一种工具。来自于Apache软件基金会提供。
Sqoop工作机制是将导入或导出命令翻译成mapreduce程序来实现。在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。
Hadoop生态系统包括：HDFS、Hive、Hbase等
RDBMS体系包括：Mysql、Oracle、DB2等
Sqoop可以理解为：“SQL 到 Hadoop 和 Hadoop 到SQL”。

2.sqoop入门知识总结

• sqoop 安装验证

  bin/sqoop list-databases \
  --connect jdbc:mysql://localhost:3306/ \
  --username root --password hadoop
  

  注意事项：命令携带参数必须出现在一行中，若换行就意味着自动提交执行，可通过\表示未结束。

• 全量导入数据到hdfs

  • mysql的地址尽量不要使用localhost 请使用ip或者host

  • 如果不指定 导入到hdfs默认分隔符是 “,”

  • 可以通过-- fields-terminated-by '\ t‘ 指定具体的分隔符

  • 如果表的数据比较大 可以并行启动多个maptask执行导入操作，如果表没有主键，请指定根据哪个字段进行切分

    bin/sqoop import \
    --connect jdbc:mysql://node-1:3306/userdb \
    --username root \
    --password hadoop \
    --target-dir /sqoopresult214 \
    --fields-terminated-by '\t' \
    --split-by id \
    --table emp --m 2
    

• 导入表数据子集（query查询）

  使用 query sql 语句来进行查找不能加参数--table ;
  并且必须要添加 where 条件;
  并且 where 条件后面必须带一个$CONDITIONS 这个字符串;
  并且这个 sql 语句必须用单引号，不能用双引号;
  

• 增量数据的导入

  • 所谓的增量数据指的是上次至今中间新增加的数据
  • sqoop支持两种模式的增量导入
    • append追加 根据数值类型字段进行追加导入 大于指定的last-value
    • lastmodified 根据时间戳类型字段进行追加 大于等于指定的last-value
      • 注意在lastmodified 模式下 还分为两种情形：append merge-key

• 关于lastmodified 中的两种模式：

  • append 只会追加增量数据到一个新的文件中 并且会产生数据的重复问题

    因为默认是从指定的last-value 大于等于其值的数据开始导入

  • merge-key 把增量的数据合并到一个文件中 处理追加增量数据之外 如果之前的数据有变化修改

    也可以进行修改操作 底层相当于进行了一次完整的mr作业。数据不会重复。

• 数据导出操作

  • 注意：导出的目标表需要自己手动提前创建 也就是sqoop并不会帮我们创建复制表结构
  • 导出有三种模式：
    • 默认模式 目标表是空表 底层把数据一条条insert进去
    • 更新模式 底层是update语句
    • 调用模式 调用存储过程
  • 相关配置参数
    • 导出文件的分隔符 如果不指定 默认以“,”去切割读取数据文件 --input-fields-terminated-by
    • 如果文件的字段顺序和表中顺序不一致 需要–columns 指定 多个字段之间以","
    • 导出的时候需要指定导出数据的目的 export-dir 和导出到目标的表名或者存储过程名
    • 针对空字符串类型和非字符串类型的转换 “\n”

• 更新导出

  • updateonly 只更新已经存在的数据 不会执行insert增加新的数据
  • allowinsert 更新已有的数据 插入新的数据 底层相当于insert&update