SQOOP安装配置

原创

已于 2023-03-03 14:28:44 修改 · 580 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #hdfs #大数据 #sqoop

于 2023-03-03 13:43:52 首次发布

本文档详细介绍了如何在Hadoop环境中安装和配置Apache Sqoop，包括从官方源下载安装包，通过SSH上传到虚拟机，解压，设置环境变量，配置sqoop-env.sh文件以连接MySQL，并最终验证安装是否成功。

SQOOP安装配置

介绍

sqoop是一款开源工具，主要用于在hadoop与传统数据库间进行数据的传递，可以将一个关系型数据库（例如：mysql，oracle等）中的数据导入到hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
“sqoop = sql to hadoop”

安装

下载sqoop安装包 https://attic.apache.org/projects/sqoop.html

安装包

1. 上传：

使用ssh软件（FinaShell等）将安装包上传到虚拟机
在这里插入图片描述

2. 解压：

 `tar -xzvf /usr/tools/sqoop-1.4.7.bin__hadoop-2

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

饭多多呀

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

配置sqoop的环境变量

tao_wei162的博客

01-24

2557

简述了sqoop的的功能，作用，以及版本演进，那么本篇我们就来实战下，看下如下安装使用sqoop（注：散仙在这里部署的是sqoop1的环境搭建）。首先，sqoop是基于Hadoop工作的，所以在这之前，确保你的Linux环境下，已经有可以正常工作的hadoop集群，当然伪分布式和完全分布式都可以。其次，我们得下载一个sqoop的安全包，散仙在这里使用的是sqoop1，版本是sqoop1....

sqoop组建安装与配置

2301_81245072的博客

05-10

1640

能够查看到 MySQL 数据库中的 information_schema 、 hive 、 mysql 、performance_schema、sys 等数据库，说明 Sqoop 可以正常连接 MySQL。删除 MySQL 数据， student 表中 number 为主键，添加信息导致主键重复，报错，所以删除表数据。可删除#号在后面添加。创建student表。

参与评论您还未登录，请先登录后发表或查看评论

Sqoop的安装与配置

最新发布

成长始于好奇心 - Growth Through Curiosity

10-07

382

Sqoop的安装以及基本使用

大数据之非常详细Sqoop安装和基本操作

派大星子的博客

12-18

2821

大数据之非常详细Sqoop安装和基本操作

生产环境下Sqoop配置文件

小蚂蚁的博客

10-19

268

sqoop生产环境配置

sqoop1.4.7安装配置

coisini.cn记录

05-13

1968

sqoop 安装配置记录： 1、下载：（1）wget准备： yum -y install wget （2）sqoop准备（选一）： wget https://mirror.bit.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz wget https://mirrors.bfsu.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz wget ht.

大数据技术基础实验报告-sqoop的安装配置与应用.doc

08-21

【大数据技术基础实验报告——Sqoop的安装配置与应用】 Sqoop是一款用于在Apache Hadoop和关系型数据库之间传输数据的工具，它简化了大量数据的导入导出过程。本实验报告将详细介绍如何安装配置Sqoop以及如何使用...

Sqoop安装配置及数据导入导出操作

zhangfujie2627的博客

12-18

1729

Sqoop安装配置及数据导入导出操作（1）掌握Sqoop的安装配置，能够独立完成在虚拟机中安装配置Sqoop；（2）掌握Sqoop数据的导入，能够独立完成数据导入的操作；（3）掌握Sqoop数据的导出，能够独立完成数据导出的操作。

sqoop安装配置

SQG_L的博客

11-17

573

一、sqoop安装 1、下载所需版本的sqoop 去下载地址https://mirror.bit.edu.cn/apache/sqoop/1.4.7/下载sqoop 2、上传虚拟机我这里用xftp软件上传，可以去xshell官网下载免费版的xftp，右键传输即可上传至虚拟机在这里插入图片描述 3、解压安装sqoop #解压至目录，我这边是SQG_L目录 [root@SQG ~]# tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /SQG_L 4、

sqoop安装配置以及报错修改

XX__X____的博客

08-10

5556

sqoop安装配置开篇碎碎念：此文章写于我做项目途中，从hive将数据传递给mysql数据库需要安装sqoop，途中踩了很多坑，就把这些记录下来。安装sqoop之前，java和hadoop的安装都是必须的，以及hive和mysql的安装我写成了另一篇文章，可以去我空间找。相关下载网盘链接为了方便我也放在了里面（顺便一提阿里云盘真香）。下面进入正题。文章目录sqoop安装配置1. 验证java安装2. 验证Hadoop安装3. 安装sqoop4. 配置.bsahrc5. 配置sqoop6. 下载配置

Sqoop安装配置

Movle

05-17

301

0.前提安装Sqoop的前提是已经具备Java和Hadoop的环境。 1.下载并解压 (1)最新版下载地址： http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/ 2. 上传安装包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz到虚拟机中，如我的上传目录是：/opt/soft/ 3.解压sqoop安装包到指定目录，如： cd /opt/soft tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-al

数据迁移工具 -- Sqoop 安装配置

凉茶铺的博客

10-23

669

介绍了sqoop的概念以及如何进行安装

sqoop配置使用

popping_kai的博客

04-01

1917

sqoop数据迁移工具 sqoop是apache一款Hadoop和关系数据库服务器之间数据传输工具导入数据：MySQL，Oracle导入数据库到Hadoop的HDFS、HIVE、HBASE等数据存储系统导出数据：从Hadoop的文件系统中导出数据到关系数据库 sqoop的原理其实就是将导出导入命令转换成mapreduce程序来执行，sqoop在接收到命令后，都要生成mapreduce程

Sqoop之 Sqoop 1.4.6 安装

weixin_34038652的博客

11-12

197

1. sqoop数据迁移 1.1 概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统；导出数据：从Hadoop的文件系统中导出数据到关系数据库 1.2 工作机制将导入或导出命令翻译成mapreduce...

sqoop的环境搭建（超详细）

m0_52725750的博客

03-21

904

sqoop的环境搭建，附上sqoop的tar包

【Sqoop安装与配置】

2301_77384102的博客

06-03

2230

【代码】【Sqoop安装与配置】

Sqoop安装配置及数据导入导出

yunyoujiutianya的博客

02-24

600

前置条件已经成功安装配置Hadoop和Mysql数据库服务器，如果将数据导入或从Hbase导出，还应该已经成功安装配置Hbase。下载sqoop和Mysql的JDBC驱动 sqoop-1.2.0-CDH3B4.tar.gz ：http://archive.cloudera.com/cdh/3/sqoop-1.2.0-CDH3B4.tar.gz mysql-connector-java-

安装配置sqoop（超详细）

2301_78038072的博客

10-21

6768

sqoop就是sql-to-hadoop，说通俗点，我们用到最多的就是mysql与hive之间的数据传递，而hive是依靠hadoop运行的，所以要再mysql和hive之间互相传递数据，就必须要安装sqoop。

sqoop安装配置hbase

01-26

### 如何安装和配置 Sqoop 以与 HBase 一起使用 #### 准备工作为了使 Sqoop 能够成功连接并操作 HBase，需先完成必要的环境准备。这包括但不限于确保已正确部署 Apache Hadoop、Apache HBase 及其依赖组件如 Zookeeper。 #### 下载并解压 Sqoop 获取最新版本的 Sqoop 发行版，并将其放置于服务器上的合适位置。通常情况下，下载完成后会得到一个压缩包文件，需要对其进行解压处理以便后续配置[^3]。 ```bash tar zxvf apache-sqoop-*.tar.gz -C /usr/local/ cd /usr/local/apache-sqoop*/ ``` #### 设置环境变量编辑 `~/.bashrc` 或者 `/etc/profile.d/sqoop.sh` 文件来设置 SQOOP_HOME 和 PATH 环境变量： ```bash export SQOOP_HOME=/usr/local/apache-sqoop* export PATH=$PATH:$SQOOP_HOME/bin source ~/.bashrc # 刷新当前shell环境下的配置 ``` #### 修改 Sqoop 配置文件进入 `$SQOOP_HOME/conf` 目录下找到 `sqoop-env-template.sh` 并复制一份命名为 `sqoop-env.sh` 。接着修改此脚本内的参数指向本地已经存在的 hadoop 安装目录以及额外添加如下几项用于支持 hbase 功能: ```properties # Set path to where bin/hadoop is available export HADOOP_COMMON_HOME=... # Set path to where hadoop-*-core.jar is available export HADOOP_MAPRED_HOME=... # point to the root of your HBASE installation export HBASE_HOME=... ``` 对于未安装 HBase 和 ZooKeeper 的情况，在上述基础上还需要特别关注 MySQL JDBC Driver 的加载方式。由于缺少部分必要服务端组件的支持，因此建议直接将驱动程序 jar 放置于 $SQOOP_HOME/lib/ 文件夹内。 #### 测试 Sqoop 连接 Mysql 数据库功能通过执行简单的命令验证 Sqoop 是否能够正常访问外部关系型数据库系统 (RDBMS)，例如列出远程主机上所有的 schema 名称列表[^4]: ```bash sqoop list-databases \ --connect jdbc:mysql://<MySQL_HOST>:<PORT>/<DATABASE_NAME> \ --username <USER_NAME> \ --password <PASSWORD> ``` #### 使用 Sqoop 导入数据至 HBase 一旦确认 Sqoop 已经被正确设置了，则可以通过指定相应的选项把来自 RDBMS 的记录迁移到分布式列族存储引擎之中。下面给出的例子展示了怎样利用 sqoop 命令行工具实现从 mysql 向 hbase 表间的数据迁移过程[^1][^2]: ```bash sqoop import \ -D sqoop.hbase.add.row.key=true \ --connect jdbc:mysql://<MYSQL_SERVER>/test \ --username <USERNAME> \ --password <PASSWORD> \ --table student \ --hbase-table student \ --column-family info \ --hbase-row-key stu_no \ -m 1 ``` 以上即为完整的 Sqoop 安装配置流程及其与 HBase 结合使用的具体方法介绍。