sqoop的环境搭建(超详细)

WinScp的软件获取:

链接:https://pan.baidu.com/s/1kEJajIVdLth-U8Q3VJjQbw?pwd=jyko

提取码:jyko

sqoop的tar包:

链接:https://pan.baidu.com/s/1BG91_LHwnQJI0EWMOgStQQ?pwd=v78g

提取码:v78g

  1. 在安装sqoop的环境之前需要有hadoop集群的环境基础,如果小伙伴还没有完成hadoop的环境,请查看我主页,有详细的hadoop集群的环境搭建。出次之外还需要有mysql的环境条件或者其他的关系型数据库。有以上条件的伙伴,接下来安装sqoop将会非常的简单。

我使用的镜像文件是CentOS6.5,如果小伙伴的版本不一致,只是执行的命令不一致,其他的步骤都是一致的。

  1. 检查hadoop集群是否成功启动

  1. 访问主节点的9870端口查看自己的主节点有没有监听到其他的两个从节点。

  1. 发现自己的主节点成功监控到其他的从节点过后,将sqoop的tar包传送到自己的hadoop集群当中,只需要上传到主节点即可。我使用的工具是MobaXterm所以通过拖拉的方式,如果是使用VMware的话,就下载Winscp软件上传到自己的虚拟机(sqoop的tar包和Winscp软件在博文开头百度网盘获取),或者使用finalShell软件也可以通过拖拉的方式上传文件。

  1. 上传tar包过后,解压到指定的目录

tar -zxvf sqoop-1.4.5.bin__had.gz -C 解压自己指定的路径
#如果不加-C就是解压到当前的目录
  1. 解压过后,将解压好的文件名更改成方便记忆的文件名,方便区别或者记忆

更改文件夹名的命令为

mv 被更改的文件名 更改后的文件名
  1. 接下来配置环境变量,这里可以在两个地方配置环境保量皆可以。一个是/etc/profile另一个是~/.bash_profile文件,都是可以的,但是sqoop与jdk,或者hadoop环境变量的配置有些区别,sqoop环境变量的环境变量的配置是在sqoop安装的主目录下面,在conf目录下的sqoop-env-template.sh文件里面配置,但是需要复制一个配置文件做备份。

cp sqoop-env-template.sh sqoop-env.sh

接着打开复制的配置文件,进行环境变量的配置:

nano sqoop-env.sh

跟着配置图例配置即可,只需要配置mysql,hadoop的环境既可,其他没有的信息,可以不配置:

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/home/zkpk/hadoop-3.3.0
#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/home/zkpk/hadoop-3.3.0
#set the path to where bin/hbase is available
export HBASE_HOME=/home/zkpk/hbase-0.98.9-hadoop2
#Set the path to where bin/hive is available
export HIVE_HOME=/home/zkpk/apache-hive-0.13.1-bin
#Set the path for where zookeeper config dir is
#export ZOOCFGDIR=/usr/local/zk

注:路径是自己环境下安装的路径,不要与我的路径弄混淆

安装过后,都要source一下,要有一个好习惯,就是在任何配置文件当中有改动,都需要source下,不然自己的电脑,就不会保存成功。

source sqoop-env.sh
  1. 最后的结束,完成上面全操作,接下来进入 Sqoop 安装主目录运行下面的代码出现下面的图示,说明你的sqoop的环境已经成功搭建完成了。

bin/sqoop help

说明已经成功搭建好了sqoop的环境。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

浩林ovo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值