京东大数据工程师教你怎样用Sqoop

标签: 程序员 数据 hadoop 数据库 人工智能
11人阅读 评论(0) 收藏 举报
分类:

Sqoop是什么

Sqoop:SQL-to-Hadoop

连接 传统关系型数据库 和 Hadoop 的桥梁

把关系型数据库的数据导入到 Hadoop 系统 ( 如 HDFS HBase 和 Hive) 中;

把数据从 Hadoop 系统里抽取并导出到关系型数据库里。

利用MapReduce加快数据传输速度 :将数据同步问题转化为MR作业

批处理方式进行数据传输:实时性不够好

Sqoop优势

高效、可控地利用资源

任务并行度,超时时间等

数据类型映射与转换

可自动进行,用户也可自定义

支持多种数据库

MySQL

Oracle

PostgreSQL

Sqoop import

将数据从关系型数据库导入Hadoop中

步骤1:Sqoop与数据库Server通信,获取数据库表的元数据信息;

步骤2:Sqoop启动一个Map-Only的MR作业,利用元数据信息并行将数据写入Hadoop。

特点:可以指定hdfs路径,指定关系数据库的表,字段,连接数(不压垮数据库),可以导入多个表,支持增量导入(手动指定起始id、事件,或自动记录上次结束位置,自动完成增量导入)

Sqoop Export

将数据从Hadoop导入关系型数据库导中

步骤1:Sqoop与数据库Server通信,获取数据库表的元数据信息;

步骤2:并行导入数据:

将Hadoop上文件划分成若干个split;

每个split由一个Map Task进行数据导入。

Sqoop与其他系统结合

Sqoop可以与Oozie、Hive、Hbase等系统结合;

微信公众号:程序员OfHome
程序员OfHomeQQ群:610535338


查看评论

让ListBox控件支持拖动

通常我们通过ListBox控件来显示我们的信息列表,然后我们可以通过鼠标来选择我们的条目信息,但VC中的ListBox控件是不支持拖动的。也许我们有时需要改变我们的列表顺序,已适应我们的要求,下面是实...
  • heyongzhou
  • heyongzhou
  • 2001-08-03 10:46:00
  • 893

京东商城大数据面试题

京东商城 - 大数据(1) Java篇 1、JVM,GC(算法,新生代,老年代),JVM结构 2、hashcode,hashMap,list,hashSet,equals(结构原理),A exten...
  • qq_26442553
  • qq_26442553
  • 2017-12-05 12:42:08
  • 1705

大数据工程师面试题

大数据工程师面试题 1.   选择题 1.1.  下面哪个程序负责 HDFS 数据存储。 a)NameNode  b)Jobtracker  c)Datanode d)secondary...
  • mbshqqb
  • mbshqqb
  • 2017-04-25 10:21:51
  • 1572

大数据工程师面试题(七)

9. 面试问题: 1.从前到后从你教育背景(学过哪些课)到各个项目你负责的模块,问的很细(本以为他是物理学博士,但是所有的技术都懂) 2.hadoop 的 namenode 宕机,怎么解决 ...
  • u011682879
  • u011682879
  • 2017-02-26 10:02:59
  • 14042

当我说要做大数据工程师时他们都笑我,直到三个月后……

GitChat 作者:Fickr孫啟誠
  • GitChat
  • GitChat
  • 2017-10-25 14:52:16
  • 33133

京东2016年算法工程师笔试题

1、 若k为整形,下述while循环的次数为:() k=1000; while (k>1)  {   print k;       k=k/2;  } 选项: A:10...
  • wuxiaosi808
  • wuxiaosi808
  • 2017-08-13 19:32:54
  • 3243

2016京东算法工程师实习生笔试编程题:上台阶

有一楼梯共m级,刚开始时你在第一级,若每次只能跨上一级或者二级,要走上m级,共有多少走法?注:规定从一级到一级有0种走法。 给定一个正整数int n,请返回一个数,代表上楼的方式数。保证n小于等...
  • u011086367
  • u011086367
  • 2016-10-22 10:59:25
  • 713

大数据(八) - Sqoop

Sqoop是什么         Sqoop:SQL-to-Hadoop         连接 传统关系型数据库 和 Hadoop 的桥梁                 把关系型数据库的数据导...
  • matthewei6
  • matthewei6
  • 2016-01-18 07:12:01
  • 1388

大数据工程师面试题(四)

2.23. 我们开发job时,是否可以去掉reduce阶段。 可以。设置reduce数为0 即可。 2.24. datanode在什么情况下不会备份 datanode在强制关闭或者非正常断电不会...
  • u011682879
  • u011682879
  • 2017-02-19 16:29:53
  • 3961

2016京东算法工程师实习生笔试编程题:小球的距离

小东和三个朋友一起在楼上抛小球,他们站在楼房的不同层,假设小东站的楼层距离地面N米,球从他手里自由落下,每次落地后反跳回上次下落高度的一半,并以此类推知道全部落到地面不跳,求4个小球一共经过了多少米?...
  • u011086367
  • u011086367
  • 2016-10-22 11:12:13
  • 979
    个人资料
    持之以恒
    等级:
    访问量: 2万+
    积分: 851
    排名: 5万+
    最新评论