利用sqoop完成数据导入导出

最新推荐文章于 2024-05-17 00:56:35 发布

ITboy-Bear

最新推荐文章于 2024-05-17 00:56:35 发布

阅读量1.3w

点赞数 1

分类专栏： SQOOP 文章标签： sqoop hive hdfs 数据

本文链接：https://blog.csdn.net/u014432433/article/details/51389230

版权

一.安装SQOOP后可使用如下命令列出mysql数据库中的所有数据库，与检验是否安装成功。
# sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password 123456

二. hive与mysql数据互导

一. 使用命令范例:

     sqoop import --connect jdbc:mysql://192.168.137.1:3306/test
     --username root --password 123456 --table mytabs --fields-terminated-by
     '\t' -m 1 [--hive-import] --append --check-column 'id'  --incremental
     append --last-value 5 --where 'id>2 and id<5'

参数详解:

1.--fields-terminated-by '\t'，表示将数据导入到hadoop中列记录之间的间隔符，默认符号为英文逗号。这里通常使用制表符\t来间隔数据，避免数据再次从HDFS到入到关系数据库时引起分割混乱
2.-m 1，是--nu