下载
官网 : http://sqoop.apache.org/
下载 : sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
解压
tar -zxvf /home/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
配置环境变量
vi /etc/profile
export SQOOP_HOME=/home/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0
export PATH=$PATH:$SQOOP_HOME/bin
source /etc/profile
配置文件
vi ./conf/sqoop-env.sh
export HADOOP_COMMON_HOME=/home/hadoop/apps/hadoop-2.8.5/
export HADOOP_MAPRED_HOME=/home/hadoop/apps/hadoop-2.8.5/
export HIVE_HOME=/usr/local/hive-1.2.1/
export ZOOCFGDIR=/usr/local/zookeeper-3.4.7/
启动测试
sqoop version
sqoop help
mysql驱动包
cp /home/mysql-connector-java-5.1.18.jar ./lib/
查看数据库
sqoop list-databases --connect jdbc:mysql://hadoop01:3306
–username root --password 123456
查看数据表
sqoop list-databases --connect jdbc:mysql://hadoop01:3306
–username root --password 123456
Mysql 导入 HDFS
执行命令前需要配置并启动好hadoop (参考文章 linux和window安装hadoop-3.1.4)
hdfs dfs -mkdir -p /sqoopdata/test
导出 test 库的 user 表数据到 /sqoopdata/test/user
sqoop import --connect jdbc:mysql://hadoop01:3306/test \
--driver com.mysql.jdbc.Driver \
--username root --password 123456 \
-m 1 \
--table user \
--target-dir hdfs://hadoop01:9000/sqoopdata/test/user
查看数据
hdfs dfs -cat /sqoopdata/test/user/*
HDFS 导出 Mysql
//将数据从HDFS中导出到Mysql中
sqoop export \
--connect jdbc:mysql://hadoop01:3306/test \
--username root \
--password 123456 \
--table u3 \
--input-null-string '' \
--input-null-non-string '' \
--export-dir hdfs://hadoop01:9000/sqoopdata/test/t3/*