sqoop1:mysql导入hdfs

最新推荐文章于 2024-10-31 17:36:29 发布

qq_43159264

最新推荐文章于 2024-10-31 17:36:29 发布

阅读量100

点赞数

文章标签： sqoop

本文链接：https://blog.csdn.net/qq_43159264/article/details/116239142

版权

mysql导入hdfs
注意：要有主键，或者用–split-by 字段

sqoop脚本

#!/bin/bash
sqoop import \
--connect jdbc:mysql://ip/xy_test \
--username root \
--password 123 \
--as-textfile \
--columns id,anchorId,title,poster,startTime,stopTime,viewsCount,likesCount,barrage,createTime \
--split-by id \
--table ods_livestreamanchor_test \
--delete-target-dir \
--hive-drop-import-delims \
--target-dir /data/test \
--null-string '\\N' \
--null-non-string '\\N' \
--fields-terminated-by '\001' \
-m 10 \