sqoop1.4.6安装

前言:众所周知,sqoop2和sqoop1差别还是很大的,个人建议使用sqoop1。

安装前提条件:

1、jdk已经安装完成;

2、hadoop集群可以正常启动;

3、安装机器和数据库所在机器IP地址互通,且数据库端口没有被禁用。

一、下载sqoop安装包

http://archive.apache.org/dist/sqoop/1.4.6/

1、下载完成后,得到 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

2、解压  tar -xvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

3、ln -sf sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop (增加软连接,非必要)

二、安装sqoop

1、cd到 sqoop下的conf 目录

2、cp sqoop-env-template.sh sqoop-env.sh (将模板文件修改为正式文件)

3、vi sqoop-env.sh  设置一下必要的环境变量

export HADOOP_COMMON_HOME=${HADOOP_HOME}  (必要,hadoop安装目录)
export HADOOP_MAPRED_HOME=${HADOOP_HOME}   (必要,hadoop安装目录)

export HIVE_HOME=${HIVE_HOME}   (非必要,HIVE安装目录,如果不直接使用hive表的导入导出,可以不配置)

export HBASE_HOME=${HBASE_HOME}    (非必要,HBASE安装目录,如果不直接使用hbase表的导入导出,可以不配置)

4、修改系统环境变量,便于直接使用sqoop命令

    sudo vi /etc/profile (如果没有sudo权限,可以配置到用户的环境变量里面(自行百度),实在不会,也可以不配置,使用sqoop命令的时候,直接使用绝对路径即可)

然后使用 source /etc/profile 使得环境变量生效

5、验证是否可用 

使用  sqoop help  (如果前面没有配置环境变量,此处需要使用绝对路径)

出现上面的内容,说明我们已经配置成功了,但是还是有几个Warning,是因为我们有几个变量没有设置,其实是不影响使用的,但是有些小伙伴比较在意,那我们就把他去掉

把sqoop/bin/configure-sqoop里面的两段内容注释掉就可以了。根据fail搜索

再次测试  sqoop help

发现Warning已经消失。

至此,sqoop 1.4.6已经安装完成。

注意:使用之前,请把相应数据库的JDBC jar包拷贝到sqoop安装目录下的lib目录,否则会提示找不到驱动类。

 

  • 1
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值