Sqoop export 导出推数详解

最新推荐文章于 2024-10-07 07:34:40 发布

Sin_Geek

最新推荐文章于 2024-10-07 07:34:40 发布

阅读量6.8k

点赞数 2

分类专栏：大数据技术文章标签： sqoop hcatalog export

本文链接：https://blog.csdn.net/sin_geek/article/details/88988017

版权

本文详细介绍了如何使用Sqoop 1.4.6从Hive导出数据到MySQL，包括`eval`和`export`命令参数的使用，如普通参数、控制参数和Hcatalog的设置。特别强调了Hive分区字段需为小写，MySQL字段大小写一致性，以及 Sqoop导出操作的默认行为，如追加、更新和upsert操作。同时提醒在指定数据库密码时要使用引号。

摘要由CSDN通过智能技术生成

前言

因为工作上用到sqoop从hive导出数据到关系型数据库，所以学习了下sqoop导出的具体功能，因除官网外（全英文，可能部分人不喜欢看英文），没有特别好的资料，在此整理总结下自己关注的一些东西。环境说明，sqoop 1.4.6，先按照导出到mysql进行总结。

命令参数

主要整理可能用到的参数，不包含所有参数，有需要可以自行去官方查看~~

eval

可使用SQL语句对关系数据库进行操作。后面接–e或者–query
查询数据实例

sqoop eval –-connect jdbc:mysql://localhost:3306/hive --username root --password 123456 --query “SELECT * FROM tbl LIMIT 10″

插入数据实例

sqoop eval –-connect jdbc:mysql://localhost:3306/hive --username root --password 123456 --e “INSERT INTO TBL VALUES(100,1375170308,1,0,’Hadoop’,0,1,’guest’,’MANAGED_TABLE’,’abc’,’ddd’)”