大数据工具——Sqoop

一、Sqoop简介

官方文档:http://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html
参考命令文档:http://www.360doc.com/content/16/1116/10/37253246_606951065.shtml

1.产生背景

早期由于技术的匮乏,要首先非结构和和结构化同步,是非常困难的,Hadoop生态研发了sqoop这样的一个同步工具,主要是实现异构化数据同步,不过sqoop更新较慢,因为sqoop工具比较小,最新版本是1.4.7
基于Hadoop生态的一个早期同步工具,可以集成在数据仓库中,实现数据同步操作,可以导入,也可以抽取。类似的工具有 datax、kettle、canal

2.原理

底层使用的是MapReduce的maptask完成数据的导入导出,虽然能并行执行,但是依旧只能处理离线数据,不能实时导入导出。

3.Sqoop的特点

优点:可以跨平台进行数据传输
缺点:不够灵活,数据较少,更新较慢

	MySQL<->HDFS
	MySQL<->Hive
	MySQL<->Hbase

二、基本语法

1.查询数据库和表
# 查看库
[root@hdp01 sqoop-1.4.7]# sqoop list-databases --connect jdbc:mysql://10.
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

NoMissU

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值