sqoop的环境搭建（超详细）

浩林ovo

已于 2023-03-21 20:59:24 修改

阅读量795

点赞数

文章标签： hadoop hbase mapreduce mysql Powered by 金山文档

于 2023-03-21 20:53:54 首次发布

本文链接：https://blog.csdn.net/m0_52725750/article/details/129696465

版权

WinScp的软件获取：

链接：https://pan.baidu.com/s/1kEJajIVdLth-U8Q3VJjQbw?pwd=jyko

提取码：jyko

sqoop的tar包：

链接：https://pan.baidu.com/s/1BG91_LHwnQJI0EWMOgStQQ?pwd=v78g

提取码：v78g

在安装sqoop的环境之前需要有hadoop集群的环境基础，如果小伙伴还没有完成hadoop的环境，请查看我主页，有详细的hadoop集群的环境搭建。出次之外还需要有mysql的环境条件或者其他的关系型数据库。有以上条件的伙伴，接下来安装sqoop将会非常的简单。

我使用的镜像文件是CentOS6.5,如果小伙伴的版本不一致，只是执行的命令不一致，其他的步骤都是一致的。

检查hadoop集群是否成功启动

访问主节点的9870端口查看自己的主节点有没有监听到其他的两个从节点。

发现自己的主节点成功监控到其他的从节点过后，将sqoop的tar包传送到自己的hadoop集群当中，只需要上传到主节点即可。我使用的工具是MobaXterm所以通过拖拉的方式，如果是使用VMware的话，就下载Winscp软件上传到自己的虚拟机（sqoop的tar包和Winscp软件在博文开头百度网盘获取），或者使用finalShell软件也可以通过拖拉的方式上传文件。

tar -zxvf sqoop-1.4.5.bin__had.gz -C 解压自己指定的路径
#如果不加-C就是解压到当前的目录

解压过后，将解压好的文件名更改成方便记忆的文件名，方便区别或者记忆

更改文件夹名的命令为

mv 被更改的文件名 更改后的文件名

接下来配置环境变量，这里可以在两个地方配置环境保量皆可以。一个是/etc/profile另一个是~/.bash_profile文件，都是可以的，但是sqoop与jdk，或者hadoop环境变量的配置有些区别，sqoop环境变量的环境变量的配置是在sqoop安装的主目录下面，在conf目录下的sqoop-env-template.sh文件里面配置，但是需要复制一个配置文件做备份。

cp sqoop-env-template.sh sqoop-env.sh

接着打开复制的配置文件，进行环境变量的配置：

nano sqoop-env.sh

跟着配置图例配置即可，只需要配置mysql，hadoop的环境既可，其他没有的信息，可以不配置：

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/home/zkpk/hadoop-3.3.0
#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/home/zkpk/hadoop-3.3.0
#set the path to where bin/hbase is available
export HBASE_HOME=/home/zkpk/hbase-0.98.9-hadoop2
#Set the path to where bin/hive is available
export HIVE_HOME=/home/zkpk/apache-hive-0.13.1-bin
#Set the path for where zookeeper config dir is
#export ZOOCFGDIR=/usr/local/zk

注：路径是自己环境下安装的路径，不要与我的路径弄混淆