sqoop(v1.4.6)的安装

一、安装准备

1、软件依赖

jdk(v1.8.0_73)、mysql(v5.6.26)、hdfs(自行准备集群并启动)、hive(v2.3.2)

2、安装节点规划

sqoop只需要一个节点 
这个节点的要求能够访问到  hadoop hive hbase 

二、安装步骤:

1、安装包上传 (上传至集群环境)
2、安装包解压

 tar -xvzf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

3、配置环境变量

ln -s sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop(配置软链的目的是防止版本变更导致需要修改配置文件的问题)
export SQOOP_HOME=/home/hadoop/apps/sqoop
export PATH=$PATH:$SQOOP_HOME/bin
source /etc/profile 

验证: 使用 sqoop version
4、修改sqoop的配置文件

cd /home/hadoop/apps/sqoop/conf  (个人环境的目录,请根据个性化进行修改)
mv sqoop-env-template.sh sqoop-env.sh

在文件中需要配置以下内容:
#配置hadoop的安装目录
export HADOOP_COMMON_HOME=/home/hadoop/apps/hadoop-2.7.7

#配置的hadoop的mr的安装目录
export HADOOP_MAPRED_HOME=mr的安装目录

#set the path to where bin/hbase is available
#export HBASE_HOME=hbase安装目录

#配置hive的安装目录
export HIVE_HOME=hive的安装目录

#设置 zookeeper的配置文件目录(例:/home/hadoop/apps/zookeeper-3.4.10/conf)
export ZOOCFGDIR=zookeeper的配置文件目录

5、将mysql的驱动包放在sqoop的安装目录的lib下
/home/hadoop/apps/sqoop/lib
到此为止安装完成
6、验证
查看mysql的所有数据库列表,\是linux中的换行,一条命令太长换行后可以继续输入
sqoop list-databases
–connect jdbc:mysql://节点地址:(节点端口,默认3306)/
–username 用户名
–password 密码

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值