Sqoop安装和简介

最新推荐文章于 2024-10-07 07:34:40 发布
最新推荐文章于 2024-10-07 07:34:40 发布
阅读量704 收藏 17
点赞数
分类专栏： 大数据 文章标签： sqoop hadoop hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45653328/article/details/142558430
版权

1. 概述

sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。
导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统；
导出数据：从Hadoop的HDFS、HIVE中导出数据到关系数据库mysql等
在这里插入图片描述

2. sqoop1与sqoop2架构对比

2.1 sqoop1架构

Sqoop1以Client客户端的形式存在和运行。没有任务时是没有进程存在的。

2.2 sqoop2架构

sqoop2是以B/S服务器的形式去运行的，始终会有Server服务端进程在运行。

3. 工作机制

将导入或导出命令翻译成mapreduce程序来实现。

4. sqoop安装

4.1sqoop安装环境准备

4.1.1 下载安装包

Sqoop版本统一使用 Sqoop 1.4.7，网址是https://archive.apache.org/dist/sqoop/1.4.7/

4.1.2 准备依赖的jar包

hive-common.jar
mysql-connector.jar
sqoop-1.4.7.jar

4.2 Sqoop安装配置

4.2.1 使用root用户上传安装包
解压

tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /home/hadoop/opt/app/

4.2.2创建软连接

ln -s  sqoop-1.4.7.bin__hadoop-2.6.0 sqoop

4.2.3授权hadoop用户

chown -R hadoop:hadoop  /usr/local/sqoop-1.4.7.bin__hadoop-2.6.0 /usr/local/sqoop

4.2.4切换到hadoop用户，配置~/.bashrc,内容如下

export SQOOP_HOME=/usr/local/sqoop
export PATH=${SQOOP_HOME}/bin:$PATH

4.2.5使其生效，然后上传刚才准备的jar到${SQOOP_HOME}/lib下载

source ~/.bashrc

4.2.6修改文件 ${SQOOP_HOME}/bin/sqoop的配置

vim /home/hadoop/opt/app/sqoop/bin/sqoop
exec ${HADOOP_COMMON_HOME}/bin/hadoop org.apache.sqoop.Sqoop "$@" 
# 以上语句修改为如下：
 
exec ${HADOOP_COMMON_HOME}/bin/hadoop jar $SQOOP_HOME/lib/sqoop-1.4.7-hadoop260.jar org.apache.sqoop.Sqoop "$@"

4.2.7进入目录 $SQOOP_HOME/conf/，复制 sqoop-env-template.sh为sqoop-env.sh

cd /home/hadoop/opt/app/sqoop/conf/
cp sqoop-env-template.sh sqoop-env.sh
vim sqoop-env.sh
 
# 在文件 sqoop-env.sh中插入如下信息(填写自己实际的hadoop目录)：
export HADOOP_COMMON_HOME=/home/hadoop/opt/app/hadoop
export HADOOP_MAPRED_HOME=/home/hadoop/opt/app/hadoop

4.2.1注释配置文件 /home/hadoop/opt/app/sqoop/bin/configure-sqoop的如下部分信息(128-147行)。

4.3 验证启动

sqoop-version

5. Sqoop抽取的两种方式

对于Mysql数据的采集，通常使用Sqoop来进行。
通过Sqoop将关系型数据库数据到Hive有两种方式，一种是原生Sqoop API，一种是使用HCatalog API。两种方式略有不同。
HCatalog方式与Sqoop方式的参数基本都是相同，只是个别不一样，都是可以实现Sqoop将数据抽取到Hive。

5.1 区别

  • 数据格式支持：
    Sqoop方式支持的数据格式较少，HCatalog支持的数据格式多，包括RCFile, ORCFile, CSV, JSON和SequenceFile等格式。
  • 数据覆盖：
    Sqoop方式允许数据覆盖，HCatalog不允许数据覆盖，每次都只是追加。
  • 字段名：
    Sqoop方式比较随意，不要求源表和目标表字段相同(字段名称和个数都可以不相同)，它抽取的方式是将字段按顺序插入，比如目标表有3个字段，源表有一个字段，它会将数据插入到Hive表的第一个字段，其余字段为NULL。但是HCatalog不同，源表和目标表字段名需要相同，字段个数可以不相等，如果字段名不同，抽取数据的时候会报NullPointerException错误。HCatalog抽取数据时，会将字段对应到相同字段名的字段上，哪怕字段个数不相等。

5.2 Sqoop方式

sqoop import \
--hive-import \
--connect 'jdbc:mysql://localhost:3306/test' \
--username 'root' \
--password '123456789' \
--query " select order_no from driver_action where  \$CONDITIONS" \
--hive-database test \
--hive-table driver_action \
--hive-partition-key pt \
--hive-partition-value 20190901 \
--null-string '' \
--null-non-string '' \
--num-mappers 1 \
--target-dir /tmp/test \
--delete-target-dir

5.3 HCatalog方式

sqoop import \
--connect jdbc:mysql://localhost:3306/test\
--username 'root' \
--password 'root' \
--query "SELECT order_no FROM driver_action  WHERE \$CONDITIONS" \
--hcatalog-database test \
--hcatalog-table driver_action \
--hcatalog-partition-keys pt \
--hcatalog-partition-values 20200104 \
--hcatalog-storage-stanza 'stored as orcfile tblproperties ("orc.compress"="SNAPPY")' \
--num-mappers 1

针对不同字段名，想要使用HCatalog方式将数据插入，可以使用下面的方式：

sqoop import \
--connect jdbc:mysql://localhost:3306/test\
--username 'root' \
--password 'root' \
--query "SELECT order_no_src as order_no_target  FROM driver_action WHERE \$CONDITIONS" \
--hcatalog-database test \
--hcatalog-table driver_action \
--hcatalog-partition-keys pt \
--hcatalog-partition-values 20200104 \
--hcatalog-storage-stanza 'stored as orc tblproperties ("orc.compress"="SNAPPY")' \
--num-mappers 1

6. 项目选型

因为项目采用的是ORC File文件格式，sqoop原始方式并不支持，因此使用HCatalog方式来进行数据的导入导出。

7. Sqoop的数据导入

“导入工具”导入单个表从RDBMS到HDFS。表中的每一行被视为HDFS的记录。所有记录都存储为文本文件的文本数据（或者Avro、sequence文件等二进制数据）

7.1 列举出所有的数据库

/usr/bin/sqoop help

命令行查看帮助

/usr/bin/sqoop list-databases --help

列出主机所有的数据库

/usr/bin/sqoop list-databases --connect jdbc:mysql://192.168.52.150:3306/ --username root --password 123456

查看某一个数据库下面的所有数据表

/usr/bin/sqoop list-tables --connect jdbc:mysql://192.168.52.150:3306/hive --username root --password 123456

7.2 完整数据导入

7.2.1 表数据

在mysql中有一个库test中三个表：emp, emp_add和emp_conn。
测试数据sql在【Home\讲义\第2章 数据仓库\sqoop\mysql数据\】目录中，可以使用SQLyog等mysql客户端进行导入。
表emp:

idnamedegsalarydept
1201gopalmanager50,000TP
1202manishaProof reader50,000TP
1203khalilphp dev30,000AC
1204prasanthphp dev30,000AC
1205kranthiadmin20,000TP

表emp_add:

idhnostreetcity
1201288Avgirijublee
1202108Iaocsec-bad
1203144Zpguttahyd
120478Boldcity
1205720Xhitecsec-bad

表emp_conn:

idphnoemail
12012356742gopal@tp.com
12021661663manisha@tp.com
12038887776khalil@ac.com
12049988774prasanth@ac.com
12051231231kranthi@tp.com
7.2.2 导入数据库表数据到HDFS

下面的命令用于从MySQL数据库服务器中的emp表导入HDFS。

/usr/bin/sqoop import --connect jdbc:mysql://192.168.52.150:3306/test --password 123456 --username root --table emp --m 1

注意，mysql地址必须为服务器IP，不能是localhost或者机器名。
如果成功执行，那么会得到下面的输出。
在这里插入图片描述

为了验证在HDFS导入的数据，请使用以下命令查看导入的数据

hdfs  dfs  -ls  /user/root/emp
7.2.3 导入到HDFS指定目录

在导入表数据到HDFS时，使用Sqoop导入工具，我们可以指定目标目录。
使用参数 --target-dir来指定导出目的地，
使用参数–delete-target-dir来判断导出目录是否已存在，如果存在就删掉

/usr/bin/sqoop import  --connect jdbc:mysql://192.168.52.150:3306/test --username root --password 123456 --delete-target-dir --table emp  --target-dir /sqoop/emp --m 1

查看导出的数据

hdfs dfs -text /sqoop/emp/part-m-00000

它会用逗号（，）分隔emp_add表的数据和字段。
1201,gopal,manager,50000,TP
1202,manisha,Proof reader,50000,TP
1203,khalil,php dev,30000,AC
1204,prasanth,php dev,30000,AC
1205,kranthi,admin,20000,TP

7.2.4 导入到hdfs指定目录并指定字段之间的分隔符
/usr/bin/sqoop import  --connect jdbc:mysql://192.168.52.150:3306/test --username root --password 123456 --delete-target-dir --table emp  --target-dir /sqoop/emp2 --m 1 --fields-terminated-by '\t'

查看文件内容

hdfs dfs -text /sqoop/emp2/part-m-00000
7.2.5 导入关系表到HIVE
7.2.5.1 第一步：准备hive数据库与表

将我们mysql当中的数据导入到hive表当中来

hive (default)> create database sqooptohive;
hive (default)> use sqooptohive;
hive (sqooptohive)> create table sqooptohive.emp_hive(id int,name string,deg string,salary int ,dept string) 
row format delimited fields terminated by '\t'
stored as orc;
7.2.5.2 第三步：开始导入
/usr/bin/sqoop import \
--connect jdbc:mysql://192.168.52.150:3306/test \
--username root \
--password 123456 \
--table emp \
--fields-terminated-by '\t' \
--hcatalog-database sqooptohive \
--hcatalog-table emp_hive \
-m 1
7.2.5.3 第四步：hive表数据查看
select * from sqooptohive.emp_hive;

7.3 条件部分导入

7.3.1 where导入到HDFS

我们可以导入表时使用Sqoop导入工具，"where"子句的一个子集。它执行在各自的数据库服务器相应的SQL查询，并将结果存储在HDFS的目标目录。
where子句的语法如下。

--where <condition>

按照条件进行查找，通过--where参数来查找表emp_add当中city字段的值为sec-bad的所有数据导入到hdfs上面去

/usr/bin/sqoop import \
--connect jdbc:mysql://192.168.52.150:3306/test \
--username root --password 123456 --table emp_add \
--target-dir /sqoop/emp_add -m 1  --delete-target-dir \
--where "city = 'sec-bad'"
7.3.2 sql语句查找导入hdfs

我们还可以通过 –query参数来指定我们的sql语句，通过sql语句来过滤我们的数据进行导入

/usr/bin/sqoop import \
--connect jdbc:mysql://192.168.52.150:3306/test --username root --password 123456 \
--delete-target-dir -m 1 \
--query 'select phno from emp_conn where 1=1 and  $CONDITIONS' \
--target-dir /sqoop/emp_conn

查看hdfs数据内容

hdfs dfs -text /sqoop/emp_conn/part*
7.3.3 增量导入数据到Hive表
/usr/bin/sqoop import \
--connect jdbc:mysql://192.168.52.150:3306/test --username root --password 123456 \
--query "select * from emp where id>1203 and  \$CONDITIONS" \
--fields-terminated-by '\t' \
--hcatalog-database sqooptohive \
--hcatalog-table emp_hive \
-m 1

8. Sqoop的数据导出

8.1 第一步：创建mysql表

CREATE TABLE `emp_out` (
  `id` INT(11) DEFAULT NULL,
  `name` VARCHAR(100) DEFAULT NULL,
  `deg` VARCHAR(100) DEFAULT NULL,
  `salary` INT(11) DEFAULT NULL,
  `dept` VARCHAR(10) DEFAULT NULL
) ENGINE=INNODB DEFAULT CHARSET=utf8;

8.2 第二步：执行导出命令

通过export来实现数据的导出，将hive的数据导出到mysql当中去

/usr/bin/sqoop export \
--connect jdbc:mysql://192.168.52.150:3306/test --username root --password 123456 \
--table emp_out \
--hcatalog-database sqooptohive \
--hcatalog-table emp_hive \
-m 1

8.1.3 第三步：验证mysql表数据

在这里插入图片描述

9. Sqoop一些常用参数

参数说明
–connect连接关系型数据库的URL
–username连接数据库的用户名
–password连接数据库的密码
–driverJDBC的driver class
–query或–e <statement>将查询结果的数据导入，使用时必须伴随参–target-dir，–hcatalog-table，如果查询中有where条件，则条件后必须加上$CONDITIONS关键字。如果使用双引号包含sql，则$CONDITIONS前要加上\以完成转义：\$CONDITIONS
–hcatalog-database指定HCatalog表的数据库名称。如果未指定，default则使用默认数据库名称。提供 --hcatalog-database不带选项–hcatalog-table是错误的。
–hcatalog-table此选项的参数值为HCatalog表名。该–hcatalog-table选项的存在表示导入或导出作业是使用HCatalog表完成的，并且是HCatalog作业的必需选项。
–create-hcatalog-table此选项指定在导入数据时是否应自动创建HCatalog表。表名将与转换为小写的数据库表名相同。
–hcatalog-storage-stanza ‘stored as orc tblproperties (“orc.compress”=“SNAPPY”)’ \建表时追加存储格式到建表语句中，tblproperties修改表的属性，这里设置orc的压缩格式为SNAPPY
-m指定并行处理的MapReduce任务数量。-m不为1时，需要用split-by指定分片字段进行并行导入，尽量指定int型。
–split-by id如果指定-split by, 必须使用$CONDITIONS关键字, 双引号的查询语句还要加\
–hcatalog-partition-keys --hcatalog-partition-valueskeys和values必须同时存在，相当于指定静态分区。允许将多个键和值提供为静态分区键。多个选项值之间用，（逗号）分隔。比如：–hcatalog-partition-keys year,month,day --hcatalog-partition-values 1999,12,31
–null-string ‘\N’ --null-non-string ‘\N’指定mysql数据为空值时用什么符号存储，null-string针对string类型的NULL值处理，–null-non-string针对非string类型的NULL值处理
–hive-drop-import-delims设置无视字符串中的分割符（hcatalog默认开启）
–fields-terminated-by ‘\t’设置字段分隔符
码农小伙
关注
专栏目录
sqoop和flume简单安装配置使用
aj_shang的博客
10-25 1604
sqoop和flume简单配置安装使用
Sqoop-简介及安装
liberty12345678的专栏
12-13 436
1、Sqoop 简介 Apache Sqoop(TM)是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。 Sqoop于2012年3月孵化出来，现在是一个顶级的Apache项目。最新的稳定版本是1.4.6。Sqoop2的最新版本是1.99.7。 Sqoop(SQL-to-Hadoop)是一个在结构化数据和Hadoop之间进行批量数据迁移的工...
sqoop的简介及安装
C_time的博客
09-20 190
安装注意点：1.配置文件sqoop-env.sh ​ 2.导入jar包 运行注意点（某种情况下昂 不是所有情况）： 1.指定mysql驱动 --driver com.mysql.jdbc.Driver \ 2.指定m即MapReduce的个数 -m 1 \ 2.7.1 Sqoop简介以及使用 2.7.1.1 产生背景 基于传统关系型数据库的稳定性，还是有很多企业将数据存储在关系型数据库中...
Sqoop 简介及安装部署
harvey的博客
09-02 2225
1.Sqoop 简介及架构1.Sqoop 简介      Sqoop即SQL to Hadoop，是一个将数据在关系数据库（如 MySQL/Oracle 等）和大数据产品（如 Hadoop/Hive/HBase等）之间导入/导出的有效工具，底层是通过MapReduce作业来完成。它充分利用了MapReduce的并行特点以批处理的方式加快数据的传输，同时也借助MapReduce实现了容错。
Sqoop 简介与安装
mxk4869的博客
07-18 501
Sqoop 简介与安装
【Sqoop】Windows下安装Sqoop
tttzzzqqq2018的博客
08-07 1846
1.1、Sqoop是什么Sqoop是一个用于Hadoop和结构化数据存储（如关系型数据库）之间进行高效传输大批量数据的工具。它包括以下两个方面：1.1.1、​可以使用Sqoop将数据从关系型数据库管理系统(如MySql)导入到Hadoop系统(如HDFS、Hive、HBase)中。1.1.2、将数据从Hadoop系统中抽取并导出到关系型数据库(如MySql)。1.2、底层实现原理​ Sqoop的核心设计思想是利用MapReduce加快数据传输速度。
Sqoop 之简介与安装
cai_and_luo的博客
04-28 470
Sqoop 简介与安装一、Sqoop 简介1.1 定义1.2 原理二：安装2.1 安装前须知2.2 软件下载2.3 安装步骤2.3.1解压缩安装包到指定目录2.3.2 进入到 conf 文件夹，找到 sqoop-env-template.sh，修改其名称为 sqoop-env.sh2.3.3 修改 sqoop-env.sh2.3.4 加入 mysql 驱动包到 sqoop1.4.6/lib 目录下...
Apache Sqoop 安装
猫君之上的博客
03-28 212
1.Sqoop简介 主要是解决关系型数据库与大数据平台的数据迁移。 例如： MySQL|Oracle ======> Hadoop生态 Hadoop生态 ======> MySQL|Oracle sqoop进行数据迁移的本质 sqoop就是将sqoop的命令转换为mapreduce任务进行数据迁移的。sqoop是hadoop的另一种形式的客户端 ...
Sqoop简介和安装教程
Yang_Yvan的博客
12-11 281
一、Sqoop简介 关系型数据库: mysql oracle 非关系型数据库: redis hbase mongdb 缓存数据库 Apache Sqoop™是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。数据迁移工具. Sqoop于2012年3月孵化出来，现在是一个顶级的Apache项目。 最新的稳定版本是1.4.6。Sqoop2的最新版本是1.99.7。请注意，1.99.7与1.4.6不兼容，且没有特征不完整，它并不打算用于生产部署。 二、Sq
Mac安装Sqoop
01-07
二：安装sqoop 1. 安装sqoop brew install sqoop 2. 配置环境变量 Hadoop, Hive, HBase and ZooKeeper must be installed and configured for Sqoop to work. vi ~/.bash_profile export ZOOKEEPER_HOME=/usr/local...
Sqoop简介与安装.md
08-09
Sqoop简介与安装.md
电商数仓项目(九) Sqoop安装与配置
03-26
本电商数仓项目中的第九部分重点介绍了如何安装和配置Sqoop，这对于构建高效的数据仓库系统至关重要。以下是对 Sqoop 的详细介绍以及安装配置步骤。 一、Sqoop 简介 Sqoop 是一个用来在 Hadoop 和结构化数据存储...
大数据新视界 --大数据大厂之 Sqoop 在大数据导入导出中的应用与技巧
青云交的博客
09-30 2560
本文深入阐述 Sqoop 在大数据导入导出中的应用，涵盖其在生态中的地位、导入导出命令（含多种示例、特殊情况处理）、经典案例、使用技巧（性能优化含不同规模集群建议与量化指标、错误处理含日志查看和分步测试、安全事项含 SSL/TLS 配置和用户权限管理多方面）以及不同操作系统下的安装和配置，为 Sqoop 使用者提供全面参考。
数据采集工具sqoop介绍
最新发布
wendao76的专栏
10-07 884
Sqoop是一款开源的数据采集工具，专门设计用于在Hadoop生态系统和关系型数据库之间高效传输批量数据。简介：Sqoop（SQL to Hadoop）允许用户将结构化数据从关系型数据库导入到HDFS（Hadoop分布式文件系统）或Hive表中，或者将数据从HDFS导出到关系型数据库中。架构：提供命令行工具和API，用于与Sqoop Server进行通信，并提交数据导入和导出的任务。：负责接收来自客户端的请求，并协调和管理数据导入和导出的任务。
大数据毕业设计选题推荐-电影数据分析系统-数据可视化-Hive-Hadoop-Spark
IT研究室的博客
10-01 1475
近年来，电影产业呈现蓬勃发展态势。中国电影市场规模持续扩大，票房收入逐年攀升。据国家电影局统计，2019年中国电影总票房达642.66亿元，同比增长5.4%。尽管2020年受疫情影响，票房收入有所下降，但2021年电影市场迅速复苏，全年票房达472.58亿元。与此同时，观众对电影的品质要求不断提高，对影片类型、题材的偏好也呈现多元化趋势。在线票务平台和影评网站的普及，使得大量观影数据得以积累。这些数据不仅包含票房信息，还涵盖观众评分、评论文本等丰富内容。
基于Hadoop的微博舆情监测分析系统
计算机学姐的博客
09-29 1381
【2025最新】基于大数据+大屏可视化+SpringBoot+Vue+MySQL的微博舆情监测分析系统及可视化系统。
基于Hive和Hadoop的电商消费分析系统
图南的博客
09-27 1155
本项目是一个基于大数据技术的电商消费分析系统，旨在为用户提供全面的电商消费信息和深入的消费行为分析。系统采用 Hadoop 平台进行大规模数据存储和处理，利用 MapReduce 进行数据分析和处理，通过 Sqoop 实现数据的导入导出，以 Spark 为核心进行高效的数据处理。整个系统结合了大数据处理技术，为用户提供准确的消费数据和深入的市场分析，帮助商家和消费者更好地了解电商趋势和消费动态。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值