Sqoop安装和使用
Sqoop安装部署
-
安装Sqoop前需要安装并启动Hadoop
-
下载Sqoop
链接http://mirrors.aliyun.com/apache/sqoop/1.4.7/
-
将安装包覆之都对应的目录下解压安装
tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0
-
下载Mysql数据库中的驱动程序
https://dev.mysql.com/downloads/connector/j/
-
配置Mysql连接器 把复制到Sqoop的依赖包中
cp mysql-connector-java-8.0.15.jar (驱动程序) sqoop-1.4.7.bin__hadoop-2.6.0/lib
-
配置环境变量
cd sqoop-1.4.7.bin__hadoop-2.6.0/conf
cp sqoop-env-template.sh sqoop-env.sh
vim sqoop-env.sh
# 配置环境 HADOOP 和 HIVE的位置需要自己指定
export HADOOP_COMMON_HOME=/opt/hadoop(替换为自己的地址)
export HADOOP_MAPRED_HOME=/opt/hadoop(替换为自己的地址)
export HIVE_HOME=/opt/hive(替换为自己的地址)
vi ~/.bash_profile
#sqoop
export SQOOP_HOME=/opt/sqoop-1.4.7.bin__hadoop-2.6.0
export PATH=$PATH:$SQOOP_HOME/bin
source ~/.bash_profile
-
测试是否安装成功 出现即成功
sqoop version
使用Sqoop将Hive的数据导入MySQL
sqoop export --connect jdbc:mysql://localhost:3306/数据库名 --username root --password root
--table Mysql被倒入的表名 --export-dir 'hdfs://loacalhost:9000/user/hive/warehouse/数据库名/表名'
--fields-terminated-by '\t';
- -connect jdbc:mysql://localhost:3306/test 连接数据库 localhost可替换我这里是本地 可以改成master
- -username root --password root MySQL的用户名和密码
使用Sqoop将Mysql的数据导入Hive
sqoop import --connect jdbc:mysql://localhost:3306/数据库名 --username root --password root
--table Hive被倒入的表名 --target-dir 'hdfs://loacalhost:9000/user/hive/warehouse/数据库名/表名'
--fields-terminated-by '\t' -m 1;