Sqoop1 和 Sqoop2 的区别

Sqoop1 和 Sqoop2 的区别
1.工作模式
Sqoop1 基于客户端模式,用户使用时需要在客户端节点安装 Sqoop 和连接器/驱动器。Sqoop2 
基于服务的模式,是 Sqoop1 的下一代版本,服务模式主要分为 Sqoop2 Server 和 Client,用户使用时需要在 Sqoop2 Server 安装连接器/驱动器,所有配置信息都在 Sqoop2 Server进行配置。
2.MR 角度透视其区别
Sqoop 只提交一个 Map 作业,数据的传输和转换都由 Mappers 来完成。Sqoop2 提交一个 MapReduce 作业,Mappers 负责从数据源传输数据,Reducers 负责根据指定的数据源来转换数据。

3.从安全的角度
从安全的角度看,Sqoop2 有针对性地进行了设计,管理员配置数据的来源和目标,操作者直接
使用已经建好的链接,不需要了解该链接的具体细节信息,按需获取即可。
4.其它方面
Web UI:Sqoop1 只提供了 CLI 方式,Sqoop2 同时也支持 Web UI 的方式。Sqoop2 Server以 REST 服务方式提供 CLI 和 Web UI.另外,Sqoop2 REST 服务接口能更容易的集成其它框架进来,比如 Oozie, 用来定义 Sqoop2工作流

功能Sqoop1Sqoop2
用于所有主要的RDBMS连接器支持不支持。解决方法:使用JDBC连接器,支持sqlserver,potstgresql,MySQL和Oracle。此连接器可以在任何符合JDBC要求的数据库上运行。但是,性能可能无法与sqoop1中的专用连接器相比
Kerberos安全集成支持不支持

从RDBSMS传输数据至Hive或者HBASE

支持不支持。解决方法:将数据从 RDBMS导入 HDFS; 在 Hive 中使用相应的工
具和命令手动将数据载入 Hive 或HBase
数据从HIVE或者HBASE传输至RDBMS

不支持。

解决办法发:从hive或者hbase将数据提取至HDFS:使用Sqoop将上一步的输出导出至EDBMS

不支持。按照与 Sqoop1 相同的解决方法操作

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

@墨迹#

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值