Sqoop 简介与安装

最新推荐文章于 2023-07-30 07:16:29 发布

weixin_42073629

最新推荐文章于 2023-07-30 07:16:29 发布

阅读量245

点赞数 1

分类专栏： Sqoop 大数据

本文链接：https://blog.csdn.net/weixin_42073629/article/details/108946332

版权

大数据同时被 2 个专栏收录

184 篇文章 22 订阅

订阅专栏

Sqoop

3 篇文章 0 订阅

订阅专栏

一、Sqoop 简介

Apache Sqoop（TM）是一种用于在Apache Hadoop和结构化数据存储（如关系数据库）之间高效传输批量数据的工具，主要用于在不同存储系统之间实现数据的导入与导出：

导入数据：从 MySQL，Oracle 等关系型数据库中导入数据到 HDFS、Hive、HBase 等分布式文件存储系统中；
导出数据：从分布式文件系统中导出数据到关系数据库中。

其原理是将执行命令转化成 MapReduce 作业来实现数据的迁移，如下图：

1. Sqoop是什么

Sqoop：SQL-to-Hadoop

连接传统关系型数据库和 Hadoop 的桥梁

把关系型数据库的数据导入到 Hadoop 系统 ( 如 HDFS HBase 和 Hive) 中；

把数据从 Hadoop 系统里抽取并导出到关系型数据库里。

利用MapReduce加快数据传输速度：将数据同步问题转化为MR作业

批处理方式进行数据传输：实时性不够好

2. Sqoop优势

高效、可控地利用资源

任务并行度，超时时间等

数据类型映射与转换

可自动进行，用户也可自定义

支持多种数据库

MySQL，Oracle，PostgreSQL

3. Sqoop import

将数据从关系型数据库导入Hadoop中

步骤1：Sqoop与数据库Server通信，获取数据库表的元数据信息；

步骤2：Sqoop启动一个Map-Only的MR作业，利用元数据信息并行将数据写入Hadoop。

特点：可以指定hdfs路径，指定关系数据库的表，字段，连接数（不压垮数据库），可以导入多个表，支持增量导入（手动指定起始id、事件，或自动记录上次结束位置，自动完成增量导入）

4. Sqoop Export

将数据从Hadoop导入关系型数据库导中

步骤1：Sqoop与数据库Server通信，获取数据库表的元数据信息；

步骤2：并行导入数据：

将Hadoop上文件划分成若干个split；

每个split由一个Map Task进行数据导入。

5. Sqoop与其他系统结合

Sqoop可以与Oozie、Hive、Hbase等系统结合；

二 Sqoop原理

将导入或导出命令翻译成 mapreduce 程序来实现。在翻译出的 mapreduce 中主要是对 inputformat 和 outputformat 进行定制。

三 Sqoop安装

安装 Sqoop 的前提是已经具备 Java 和 Hadoop 的环境。

3.1 下载并解压

1) 最新版下载地址：https://mirrors.bfsu.edu.cn/apache/sqoop/

用户指南：http://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html

2) 解压 sqoop 安装包到指定目录，如：

[admin@node21 software]$ tar zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/module/
[admin@node21 module]$ mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop-1.4.7

3.2 修改配置文件

Sqoop 的配置文件与大多数大数据框架类似，在 sqoop 根目录下的 conf 目录中。

1) 重命名配置文件

[admin@node21 conf]$ cp sqoop-env-template.sh sqoop-env.sh

在conf目录下，有两个文件sqoop-site.xml和sqoop-site-template.xml内容是完全一样的，不必在意，我们只关心sqoop-site.xml即可。

1) 修改配置文件

sqoop-env.sh

export HADOOP_COMMON_HOME=/opt/module/hadoop-2.7.6
export HADOOP_MAPRED_HOME=/opt/module/hadoop-2.7.6
export HBASE_HOME=/opt/module/hbase-1.2.6
export HIVE_HOME=/opt/module/hive-2.3.3
export ZOOCFGDIR=/opt/module/zookeeper-3.4.12

3.3 拷贝JDBC驱动

[admin@node21 conf]$ cp /opt/software/mysql-connector-java-5.1.9.jar  /opt/module/sqoop-1.4.7/lib/

3.4 配置环境变量

export  SQOOP_HOME=/opt/module/sqoop-1.4.7
export  PATH=$PATH:$SQOOP_HOME/bin

source /etc/profile

3.4 验证Sqoop

我们可以通过某一个 command 来验证 sqoop 配置是否正确：

[admin@node21 sqoop-1.4.7]$ sqoop help
Warning: /opt/module/sqoop-1.4.7/../hcatalog does not exist! HCatalog jobs will fail.
Please set $HCAT_HOME to the root of your HCatalog installation.
Warning: /opt/module/sqoop-1.4.7/../accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
18/06/03 23:27:27 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7
usage: sqoop COMMAND [ARGS]

Available commands:
  codegen            Generate code to interact with database records
  create-hive-table  Import a table definition into Hive
  eval               Evaluate a SQL statement and display the results
  export             Export an HDFS directory to a database table
  help               List available commands
  import             Import a table from a database to HDFS
  import-all-tables  Import tables from a database to HDFS
  import-mainframe   Import datasets from a mainframe server to HDFS
  job                Work with saved jobs
  list-databases     List available databases on a server
  list-tables        List available tables in a database
  merge              Merge results of incremental imports
  metastore          Run a standalone Sqoop metastore
  version            Display version information

See 'sqoop help COMMAND' for information on a specific command.

3.5 测试Sqoop是否能够成功连接数据库

$ bin/sqoop list-databases --connect jdbc:mysql://node21:3306/ --username root --password 123456
出现如下输出：
information_schema
hive
mysql
performance_schema
sys