利用sqoop完成数据导入导出

最新推荐文章于 2024-12-18 19:19:42 发布

ITboy-Bear

最新推荐文章于 2024-12-18 19:19:42 发布

阅读量1.3w

点赞数 1

分类专栏： SQOOP 文章标签： sqoop hive hdfs 数据

本文链接：https://blog.csdn.net/u014432433/article/details/51389230

版权

本文介绍了如何使用SQOOP工具在MySQL和Hive之间进行数据的导入导出。详细阐述了SQOOP命令的使用，包括连接数据库、数据筛选、增量导入、Hive导入等关键参数，以及自定义SQL语句进行数据迁移的方法。同时提到了在导入过程中如何处理已有数据和数据冲突的问题。

摘要由CSDN通过智能技术生成

一.安装SQOOP后可使用如下命令列出mysql数据库中的所有数据库，与检验是否安装成功。
# sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password 123456

二. hive与mysql数据互导

一. 使用命令范例:

     sqoop import --connect jdbc:mysql://192.168.137.1:3306/test
     --username root --password 123456 --table mytabs --fields-terminated-by
     '\t' -m 1 [--hive-import] --append --check-column 'id'  --incremental
     append --last-value 5 --where 'id>2 and id<5'

参数详解:

1.--fields-terminated-by '\t'，表示将数据导入到hadoop中列记录之间的间隔符，默认符号为英文逗号。这里通常使用制表符\t来间隔数据，避免数据再次从HDFS到入到关系数据库时引起分割混乱
2.-m 1，是--nu