linux虚拟机下,Sqoop的安装与配置

安装准备:在安装Sqoop前,我已经事先已经安装好了,java jdk,hadoop,zookeeper,hive,hbase,安装目录在/opt/soft/ 目录下,并且,已经将sqoop的安装和mysql的jar包置于/opt/install目录下,soft和install目录都是自己创建的(mkdir -p /opt/soft;mkdir -p /opt/install)

sqoop安装包版本:sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

mysql的版本: mysql-connector-java-5.1.25.jar 

 安装及配置步骤:

第一步,解压并重命名sqoop的解压包

tar -zxf /opt/intall/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/soft/

mv /opt/soft/sqoop-1.4.6.bin__hadoop-2.0.4-alpha /opt/softsqoop146

 第二步,配置sqoop解压包中conf的文件sqoop-env.sh

配置前需要先重命名sqoop-env-template.sh文件

mv /opt/soft/sqoop146/conf/sqoop-env-template.sh /opt/soft/sqoop146/conf/sqoop-env.sh

打开文件,配置内容如下 vi /opt/soft/sqoop146/conf/sqoop-env.sh,

#hadoop的安装目录

export HADOOP_COMMON_HOME=/opt/soft/hadoop260
export HADOOP_MAPRED_HOME=/opt/soft/hadoop260

#hbase的安装目录
export HBASE_HOME=/opt/soft/hbase120

#hive的安装目录
export HIVE_HOME=/opt/soft/hive110

#zookeeper的配置文件目录
export ZOOCFGDIR=/opt/soft/zookeeper345/conf

 第三步,将mysql的jar包拷贝到sqoop解压包lib目录下

cp /opt/install/mysql-connector-java-5.1.25.jar /opt/soft/sqoop146/lib/

 第四步,配置/etc/profile文件,在末尾加入

#sqoop
export SQOOP_HOME=/opt/soft/sqoop146
export PATH=$PATH:$SQOOP_HOME/bin

 保存退出后

source /etc/profile

第五步,验证

先开启hadoop,zookeeper,成功开启后再输入sqoop version,验证是否成功安装配置sqoop

如下图,则成功了

 自动安装脚本内容如下:

#!/bin/bash
#sqoop

sqoop=true
if [ `$sqoop`=true ]; then
    echo '------------sqoop安装中-------------'
    tar -zxf /opt/install/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/soft/
    mv /opt/soft/sqoop-1.4.6.bin__hadoop-2.0.4-alpha /opt/soft/sqoop146
    mv /opt/soft/sqoop146/conf/sqoop-env-template.sh /opt/soft/sqoop146/conf/sqoop-env.sh

    sqoop_env_path=/opt/soft/sqoop146/conf/sqoop-env.sh
    sed -i "/^#export HADOOP_COMMON_HOME=/cexport HADOOP_COMMON_HOME=/opt/soft/hadoop260/" $sqoop_env_path
    sed -i "/^#export HADOOP_MAPRED_HOME=/cexport HADOOP_MAPRED_HOME=/opt/soft/hadoop260/" $sqoop_env_path
    sed -i "/^#export HBASE_HOME=/cexport HBASE_HOME=/opt/soft/hbase120/" $sqoop_env_path
    sed -i "/^#export HIVE_HOME=/cexport HIVE_HOME=/opt/soft/hive110/" $sqoop_env_path
    sed -i "/^#export ZOOCFGDIR=/cexport ZOOCFGDIR=/opt/soft/zookeeper345/conf/" $sqoop_env_path

    cp /opt/install/mysql-connector-java-5.1.25.jar /opt/soft/sqoop146/lib/

    echo '#sqoop' >>/etc/profile
    echo 'export SQOOP_HOME=/opt/soft/sqoop146' >>/etc/profile
    echo 'export PATH=$PATH:$SQOOP_HOME/bin' >>/etc/profile

    source /etc/profile
    echo '------------sqoop安装完毕-------------'
fi
  • 0
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值