Sqoop从关系型数据库（mysql）往Hive上导入数据，从Hive导出数据到mysql数据库

最新推荐文章于 2023-05-15 10:07:01 发布

struggle@徐磊

最新推荐文章于 2023-05-15 10:07:01 发布

阅读量860

点赞数 1

分类专栏： Sqoop 文章标签： sqoop 大数据

本文链接：https://blog.csdn.net/qq_44472134/article/details/104178514

版权

本文介绍了如何配置Sqoop环境，包括设置HBASE_HOME和HIVE_HOME路径，并将jar包放入sqoop的lib目录。然后详细讲解了使用Sqoop从MySQL导入数据到Hive分区表，以及从Hive导出数据到MySQL的过程，包括可能出现的错误及解决方法，如错误提示'Cannot run program "hive"', 'hive表名命名不规范'，以及'HDFS上的目标目录已存在'的问题。" 134480502,1048757,Python实现的科学计算器：ScienceCalculator.py,"['Python', '开发语言', 'GUI编程', '科学计算']

摘要由CSDN通过智能技术生成

文章目录

前提（配置环境）
- 一、/opt/sofware/sqoop/sqoop/conf 目录下 nano ./sqoop-env.sh （sqoop-env.sh 是由 cp ./sqoop-env-template.sh ./sqoop-env.sh 复制过来的）
- 二、将两个jar包放到sqoop的lib目录下
一、Sqoop从关系型数据库（mysql）往Hive上导入数据
- 指令
- 1.1、Sqoop从关系型数据库（mysql）往Hive分区表中导入数据
二、从Hive导出数据到mysql数据库
- 指令
三、导入到hive时报错

前提（配置环境）

一、/opt/sofware/sqoop/sqoop/conf 目录下 nano ./sqoop-env.sh （sqoop-env.sh 是由 cp ./sqoop-env-template.sh ./sqoop-env.sh 复制过来的）

设置 HBASE_HOME和HIVE_HOME的路径
在这里插入图片描述

二、将两个jar包放到sqoop的lib目录下

在这里插入图片描述

一、Sqoop从关系型数据库（mysql）往Hive上导入数据

指令

./sqoop import --connect jdbc:mysql://node132:3306/company --username root --password root --table staff --delete-target-dir --num-mappers 1 --fields-terminated-by "\t" --hive-import --create-hive-table --hive-table staff