Sqoop 安装——sqoop1.4.7

@羲凡——只为了更好的活着

Sqoop 安装——sqoop1.4.7

安装前默认你已经安装hadoop、hive和mysql。博主使用的版本是hadoop2.7.3、hive1.2.2 和 mysql5.7.24

1.下载安装包

http://archive.apache.org/dist/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

2.解压配置/etc/profile

a. 解压

tar -zxf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C ../

b. 配置/etc/profile

重命名安装包

mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop-1.4.7.bin

修改**/etc/profile**文件

# SQOOP_HOME
export SQOOP_HOME=/usr/local/package/sqoop-1.4.7.bin
export PATH=$PATH:$SQOOP_HOME/bin

c.sqoop要使用到hive的jar包，在/etc/profile下添加下面命令

# sqoop要使用到hive的jar包
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*

d.拷贝mysql驱动到 $SQOOP_HOME/lib 目录

cp $HIVE_HOME/lib/mysql-connector-java-5.1.38.jar $SQOOP_HOME/lib

3.安装

a.进入 $SQOOP_HOME/conf 目录，重命名配置文件

mv sqoop-env-template.sh sqoop-env.sh

b.进入 sqoop-env.sh，修改以下三个参数

export HADOOP_COMMON_HOME=/usr/local/package/hadoop-2.7.3
export HADOOP_MAPRED_HOME=/usr/local/package/hadoop-2.7.3
export HIVE_HOME=/usr/local/package/apache-hive-1.2.2-bin

如果sqoop所在机器上有zookeeper和hbase，可以将 ZOOCFGDIR 和 HBASE_HOME 两个参数也一并修改了。

c.将hive-site.xml 拷贝到 $SQOOP_HOME/conf目录下

# 目的是为了读取到hive的配置，不然会报错找不到库或导不进数据
cp $HIVE_HOME/conf/hive-site.xml $SQOOP_HOME/conf/

4.检验

输入以下命令，如果列出mysql所有的数据库，则表示成功。

sqoop list-databases \
--connect jdbc:mysql://deptest75:3306/ \
--username root \
--password 123456

输入sqoop version可以可以显示sqoop的版本，如下图

如果您想用sqoop命令，实际操作导入导出，请点击我下面的博客 https://blog.csdn.net/weixin_42003671/article/details/88665864

====================================================================

@羲凡——只为了更好的活着

若对博客中有任何问题，欢迎留言交流