Sqoop安装与部署

本文详细介绍了在CentOS7系统中安装和配置Sqoop的过程,包括下载软件包,设置环境变量,配置Sqoop与MySQL的连接器,以及演示了如何使用Sqoop进行数据的导入导出操作,涉及到与Hadoop其他组件如Hive、HDFS和MySQL的交互。
摘要由CSDN通过智能技术生成

Sqoop 安装与部署


更多Hadoop组件配套安装与部署
   Hadoop:https://blog.csdn.net/Gordo_Li/article/details/103309484
   Hbase: https://blog.csdn.net/Gordo_Li/article/details/103199302
   Hive: https://blog.csdn.net/Gordo_Li/article/details/103199319
   Pig: https://blog.csdn.net/Gordo_Li/article/details/103199334
   Sqoop: https://blog.csdn.net/Gordo_Li/article/details/103199352
   Flume: https://blog.csdn.net/Gordo_Li/article/details/103199291
   Zoopkeeper: https://blog.csdn.net/Gordo_Li/article/details/103199364
部分组件软件包:
   soft.gz.tar: https://download.csdn.net/download/Gordo_Li/11993074


  1. 下载软件,解压与移动

    cd /data/soft/
    tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
    mv sqoop-1.4.7.bin__hadoop-2.6.0 /data/sqoop-1.4.7
    cd /data
    ll
    
  2. 设置变量环境

    vi /etc/profile
    
    export JAVA_HOME=/usr/local/jdk1.8
    export HADOOP_HOME=/data/hadoop-2.7.3
    export HIVE_HOME=/data/hive-2.3.6
    export HBASE_HOME=/data/hbase-1.2.6
    export PIG_HOME=/data/pig-0.17.0
    export SQOOP_HOME=/data/sqoop-1.4.7
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HIVE_HOME/bin:$HBASE_HOME/bin:$PIG_HOME/bin:$SQOOP_HOME/bin
    
    source /etc/profile
    
  3. 配置Sqoop

    1. 获取MySQL连接器
      Sqoop经常与MySQL结合,从Hadoop数据源向MySQL数据库导入数据,或从Hadoop各组件导入数据到MySQL。所以为其配置Java连接器(Mysql的Jave连接器也成为JDBC驱动程序)

      可在MySQL官网(http://central.maven.org/maven2/mysql/mysql-connector-java/)找到,下载并解压

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值