Sqoop光速入门

本文介绍了Sqoop在Hadoop与传统数据库间的数据传递,重点讲解了配置、启动、使用和打包脚本的过程。 Sqoop版本为1.4.6,适用于CentOS6.8。内容包括全量和查询导入、导出到Hive和HBase,以及如何通过脚本简化操作。在HBase导入选项中,注意版本兼容性问题,需要手动创建表。导出操作要求目标表已存在于数据库中,可通过特定参数进行更新操作。
摘要由CSDN通过智能技术生成

简介

主要用于在 Hadoop(Hive) 与传统的数据库 ( mysql、postgresql... ) 间进行数据的传递

可以将一个关系型数据库(例如 : MySQL, Oracle, Postgres 等)中的数据导进到 Hadoop 的 HDFS 中,也可以将 HDFS 的数据导进到关系型数据库中

最新的稳定版本是 1.4.7

这里使用 centos6.8 与 Sqoop 1.4.6, centos6.8 与 Sqoop 1.4.7 存在不兼容, 而 centos 与 Sqoop 1.4.7 不存在此问题.

sqoop 的本质就是迁移数据, 迁移的方式:把 sqoop 的迁移命令转换成 MapReduce 程序

相关组件:HDFS, MapReduce, YARN, ZooKeeper, Hive, HBase, MySQL

配置

1.下载, 上传, 解压 不再赘述

2. 配置 sqoop.env.sh

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/opt/module/hadoop-2.7.2

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/opt/module/hadoop-2.7.2

#set the path to where bin/hbase is available
export HBASE_HOME=/opt/module/hbase-1.3.2.1

#Set the path to where bin/hive is available
export HIVE_HOME=/opt/module/hive
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值