sqoop工具在hive和mysql之间互相导数据

最新推荐文章于 2024-08-14 20:44:58 发布

富兰克林008

最新推荐文章于 2024-08-14 20:44:58 发布

阅读量1.8k

点赞数

分类专栏： Hive mysql

本文链接：https://blog.csdn.net/oufuji/article/details/50349491

版权

本文详细介绍了如何使用sqoop工具在Hive和MySQL之间进行数据操作，包括列出数据库、查看表、复制表结构以及从MySQL导入数据到Hive。在执行过程中，注意JDBC驱动版本可能存在的问题，例如5.1.17版本的bug，需要升级到5.1.32以上版本以避免错误。

摘要由CSDN通过智能技术生成

参考：
Sqoop中文手册

1、列出mysql数据库：
sqoop list-databases --connect jdbc:mysql://192.168.100.13:3306 --username hive --password hive

[root@master sqoop]# sqoop list-databases --connect jdbc:mysql://192.168.100.13:3306/ --username hive --password hive
Warning: /opt/cloudera/parcels/CDH-5.5.0-1.cdh5.5.0.p0.8/bin/../lib/sqoop/../accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
15/12/08 12:44:24 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6-cdh5.5.0
15/12/08 12:44:24 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
15/12/08 12:44:25 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.
information_schema
hive
mysql
test
[root@master sqoop]#

#################

2、列出mysql数据库hive中的表：

sqoop list-tables --connect jdbc:mysql://192.168.100.13:3306/hive --username hive --password hive

##################

3、复制表结构：
mysql数据的表结构复制到hive中,只是复制表的结构，表中的内容没有复制过去。

sqoop create-hive-table --connect jdbc:mysql://192.168.100.13:3306/hive --username hive --password hive \
--table tbl_6005 --hive-table sqoop_test

[root@master sqoop]# sqoop create-hiv