sqoop详细安装

一、安装环境介绍

本文介绍下Centos7中sqoop的安装(Centos7以下版本中有些命令和centos7中有些不同,安时需注意下自己的linux版本)

a、hadoop版本为hadoop-3.3.0

b、软件压缩包存储路径:/export/software/

c、解压后安装包存储路径:/export/server/

二、sqoop下载地址

Index of /dist/sqoop/1.4.6

三、安装步骤 

1、下载并解压sqoop安装文件至目录/export/server/下

(base) [root@node1 software]# tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /export/server/

2、修改/export/server/sqoop/conf目录下的sqoop-env-template.sh为sqoop-env.sh 

(base) [root@node1 conf]# cd /export/server/sqoop/conf

(base) [root@node1 conf]# mv sqoop-env-template.sh sqoop-env.sh

3、修改sqoop-env.sh文件,增加Hadoop、Hive、Zookeeper、Hbase的环境路径(需要导到Hbase才需要配Hbase路径,不需要可以不配)

export HADOOP_COMMON_HOME=/export/server/hadoop-3.3.0
export HADOOP_MAPRED_HOME=/export/server/hadoop-3.3.0
export HIVE_HOME=/export/server/apache-hive-3.1.2-bin
export ZOOKEEPER_HOME=/export/server/apache-zookeeper-3.5.6-bin
export ZOOCFGDIR=/export/server/apache-zookeeper-3.5.6-bin

4、放mysql的JDBC到sqoop的lib目录下

(base) [root@node1 ~]# mv mysql-connector-java-5.1.46-bin.jar /export/server/sqoop/lib 

5、测试连接mysql

(base) [root@node1 sqoop]# bin/sqoop list-databases --connect jdbc:mysql://node1:3306/ --username root --password mysql密码  

出现自己建的数据库则表示安装成功 

  • 3
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Sqoop是一个用于在Hadoop和关系型数据库之间进行数据转移的工具,可以将关系型数据库中的数据导入到Hadoop集群中进行分析,也可以将Hadoop集群中的数据导出到关系型数据库中。 以下是Sqoop安装步骤: 1. 安装Java环境 Sqoop是基于Java编写的,因此需要先安装Java环境。可以通过以下命令来检查是否已经安装Java环境: ``` java -version ``` 如果返回了Java版本信息,则说明已经安装了Java环境。如果没有安装,则需要在官网上下载Java并按照说明进行安装。 2. 下载Sqoop 可以在Sqoop官网上下载最新版本的Sqoop。下载完成后,解压缩到指定目录下。 ``` tar -zxvf sqoop-x.x.x.bin__hadoop-x.x.x.tar.gz ``` 其中,x.x.x代表版本号和Hadoop版本号。 3. 配置环境变量 在.bashrc或.zshrc等shell配置文件中添加Sqoop的环境变量: ``` export SQOOP_HOME=/path/to/sqoop export PATH=$PATH:$SQOOP_HOME/bin ``` 其中,/path/to/sqoopSqoop安装路径。 4. 配置Sqoop 进入Sqoop安装目录下的conf文件夹,可以看到sqoop-env-template.sh文件。将该文件复制一份并重命名为sqoop-env.sh。编辑sqoop-env.sh文件,设置以下参数: ``` export JAVA_HOME=/path/to/java export HADOOP_HOME=/path/to/hadoop export HIVE_HOME=/path/to/hive ``` 其中,/path/to/java为Java的安装路径,/path/to/hadoop为Hadoop的安装路径,/path/to/hive为Hive的安装路径。 5. 测试Sqoop 执行以下命令测试Sqoop是否安装成功: ``` sqoop version ``` 如果返回了Sqoop的版本信息,则说明Sqoop安装成功。 以上就是Sqoop安装步骤。在安装过程中,需要注意Java、Hadoop和Hive的版本兼容性问题。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值