京东大数据工程师教你怎样用Sqoop

Sqoop是什么

Sqoop：SQL-to-Hadoop 连接 传统关系型数据库 和 Hadoop 的桥梁 把关系型数据库的数据导入到 Hadoop 系统 ( 如 HDFS HBase 和 Hive) 中； 把数据从 Hadoop 系统里抽取并导出到关系型数据库里。 利用MapReduce加快数据传输速度 ：将数据同步问题转化为MR作业 批处理方式进行数据传输：实时性不够好

Sqoop优势

高效、可控地利用资源 任务并行度，超时时间等 数据类型映射与转换 可自动进行，用户也可自定义 支持多种数据库 MySQL Oracle PostgreSQL

Sqoop import

将数据从关系型数据库导入Hadoop中 步骤1：Sqoop与数据库Server通信，获取数据库表的元数据信息； 步骤2：Sqoop启动一个Map-Only的MR作业，利用元数据信息并行将数据写入Hadoop。 特点：可以指定hdfs路径，指定关系数据库的表，字段，连接数（不压垮数据库），可以导入多个表，支持增量导入（手动指定起始id、事件，或自动记录上次结束位置，自动完成增量导入）

Sqoop Export

将数据从Hadoop导入关系型数据库导中 步骤1：Sqoop与数据库Server通信，获取数据库表的元数据信息； 步骤2：并行导入数据： 将Hadoop上文件划分成若干个split； 每个split由一个Map Task进行数据导入。

Sqoop与其他系统结合

Sqoop可以与Oozie、Hive、Hbase等系统结合； PS：

将来自己，一定会感谢现在自己的，现在不努力，将来只会后悔。我们不做后悔的哪个，只做最好的自己。
关注本公众号，在公众号后台点击“领取资料”都可以获取免费学习视频，下方是公众号二维码，扫扫就可以关注了。
想从事以上工作或者往大数据方向发展的朋友，可以点击联系我们，获取大数据相关资料和高清学习线路图，希望在你发展的道路上有所帮助。
复制代码