Sqoop的安装与使用(附命令参数,比如导入导出)

本文详细介绍了Apache Sqoop的安装过程及使用,包括从MySQL导入数据到Hive,以及从Hive导出数据到MySQL的操作。Sqoop是Hadoop生态和RDBMS之间数据传输的工具,通过mapreduce实现数据的导入导出。文章还列举了不同类型的Sqoop命令参数,如数据库连接、导入和导出的参数。
摘要由CSDN通过智能技术生成

Sqoop导入导出模板(点击了解更多)Sqoop 导入导出操作,从 mysq 导入数据到 hive,从 hive 导出数据到 mysqlhttps://blog.csdn.net/qq_17685725/article/details/122904237


1、sqoop简介

        Apache Sqoop 是在 Hadoop 生态体系和 RDBMS 体系之间传送数据的一种工具。Sqoop 工作机制是将导入或导出命令翻译成 mapreduce 程序来实现。在翻译出的 mapreduce 中主要是 inputformat 和 outputformat 进行定制。

  • Hadoop 生态系统包括:HDFS、Hive、Hbase 等
  • RDBMS 体系包括:Mysql、Oracle、DB2 等
  • Sqoop 可以理解为:“SQL 到 Hadoop 和 Hadoop 到 SQL”

站在 Apache 立场看待数据流转问题,可以分为数据的导入导出:

  • import:数据导入(RDBMS 到 Hadoop)
  • export:数据导出(Hadoop 到 RDBMS)

2、Sqoop安装

注:安装 sqoop 的前提是已经具备 java 和 hadoop 的环境:

2.1 下载sqoop安装包:

http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.14.0.tar.gz

2.2 将安装包上传到 linux 中, 并解压(建议放置在 hive 和 hadoop 同服务器的路径下):

tar -zxvf /export/software/sqoop-1.4.6-cdh5.14.0.tar.gz -C /export/server/
  • 2.2.1 创建软连接
    ln -s /export/server/sqoop-1.4.6-cdh5.14.0/ /export/server/sqoop
  • 2.2.2 配置环境变量
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

竹长大大

客官,赏个银子吧,别下次一定了

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值