Sqoop光速入门

RayfunC

于 2019-02-15 11:55:29 发布

阅读量264

点赞数

分类专栏： Sqoop

本文链接：https://blog.csdn.net/a308601801/article/details/87350260

版权

本文介绍了Sqoop在Hadoop与传统数据库间的数据传递，重点讲解了配置、启动、使用和打包脚本的过程。 Sqoop版本为1.4.6，适用于CentOS6.8。内容包括全量和查询导入、导出到Hive和HBase，以及如何通过脚本简化操作。在HBase导入选项中，注意版本兼容性问题，需要手动创建表。导出操作要求目标表已存在于数据库中，可通过特定参数进行更新操作。

摘要由CSDN通过智能技术生成

简介

主要用于在 Hadoop(Hive) 与传统的数据库 ( mysql、postgresql... ) 间进行数据的传递

可以将一个关系型数据库（例如： MySQL, Oracle, Postgres 等）中的数据导进到 Hadoop 的 HDFS 中，也可以将 HDFS 的数据导进到关系型数据库中

最新的稳定版本是 1.4.7

这里使用 centos6.8 与 Sqoop 1.4.6, centos6.8 与 Sqoop 1.4.7 存在不兼容, 而 centos 与 Sqoop 1.4.7 不存在此问题.

sqoop 的本质就是迁移数据, 迁移的方式：把 sqoop 的迁移命令转换成 MapReduce 程序

相关组件:HDFS， MapReduce， YARN， ZooKeeper， Hive， HBase， MySQL

配置

1.下载, 上传, 解压不再赘述

2. 配置 sqoop.env.sh

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/opt/module/hadoop-2.7.2

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/opt/module/hadoop-2.7.2

#set the path to where bin/hbase is available
export HBASE_HOME=/opt/module/hbase-1.3.2.1

#Set the path to where bin/hive is available
export HIVE_HOME=/opt/module/hive