关于sqoop2安装和运行中的问题

最近在学习SQOOP2,下面是我学习中的一些记录,和大家共勉。如果有什么错误的地方希望给为指点。

安装sqoop2就不用说了,直接在sqoop网站上下载你需要的版本,进行下载解压安装就行了。我用的是sqoop2 版本号1.99.7,好了,废话不多说直接开始。


sqoop2配置:


一、添加sqoop2到系统环境变量中:   
      export SQOOP2_HOME=/opt/application/sqoop/sqoop-1.99.7/  
      export CATALINA_BASE=$SQOOP2_HOME/server
      export PATH=.:$SQOOP2_HOME/bin:$PATH

二、驱动jar包目录:

       $SQOOP2_HOME/server/lib

三、配置文件目录:  

        $SQOOP2_HOME/conf/sqoop.properties</span>

 
        org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/opt/application/hadoop/hadoop-2.6.4/etc/hadoop
        org.apache.sqoop.security.authentication.type=SIMPLE
        org.apache.sqoop.security.authentication.handler=org.apache.sqoop.security.authentication.SimpleAuthenticationHandler
        org.apache.sqoop.security.authentication.anonymous=true
        # Number of milliseconds, submissions created before this limit will be removed, default is one day     //锁定提交的job时间,锁定时间内不能删除
        org.apache.sqoop.submission.purge.threshold=300000
        # JDBC repository provider configuration    //jdbc配置目录
        org.apache.sqoop.repository.jdbc.url=jdbc:derby:/opt/application/sqoop/sqoop-1.99.7/logs/repository/db;create=true
        org.apache.sqoop.log4j.appender.file.File=/opt/application/sqoop/sqoop-1.99.7/logs/sqoop.log                         //sqoop2日志文件目录
        org.apache.sqoop.repository.sysprop.derby.stream.error.file=/opt/application/sqoop/sqoop-1.99.7/logs/derbyrepo.log   //错误日志文件目录

 四、启停sqoop-server:
       
        $SQOOP2_HOME/bin/sqoop.sh server start
        $SQOOP2_HOME/bin/sqoop.sh server stop
        或者
        $SQOOP2_HOME/bin/sqoop2-server start
        $SQOOP2_HOME/bin/sqoop2-server stop


五、验证sqoop2是否启动成功:
      
        方式一:jps查看进程: Bootstrap
        方式二:http://hadoop_IP:12000/sqoop/version
        方式三:wget -qO - hadoop_IP:12000/sqoop/version
       
六、启动sqoop客户端:
 
     $SQOOP2_HOME/bin/sqoop.sh client
         或者
     $SQOOP2_HOME/bin/sqoop2-shell

七、为客户端配置服务器:

     sqoop:000> set server --host hadoop000 --port 12000 --webapp sqoop


 八、查看服务器端信息:
      
     sqoop:000> show server --all


  • 3
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值