sqoop：import时过滤条件

最新推荐文章于 2022-05-10 16:21:56 发布

花和尚也有春天

最新推荐文章于 2022-05-10 16:21:56 发布

阅读量183

点赞数

分类专栏： sqoop 文章标签： sqoop etl

本文链接：https://blog.csdn.net/weixin_38750084/article/details/103158803

版权

sqoop 专栏收录该内容

7 篇文章 0 订阅

订阅专栏

全量导入：

sqoop import --connect jdbc:mysql://172.000.000.170:3309/p_b --username p_b --password ********* --table sparksql_hive_test  --hive-import --hive-database tmp --hive-table hive_mobile_test --hive-overwrite --hive-drop-import-delims --delete-target-dir -m 1 --as-parquetfile

加where条件导入：

sqoop import --connect jdbc:mysql://172.000.000.170:3309/p_b --username p_b --password ********* --table sparksql_hive_test --where "ID <= 8" --hive-import --hive-database tmp --hive-table hive_mobile_test --hive-overwrite --hive-drop-import-delims --delete-target-dir -m 1 --as-parquetfile

加rlike条件：

sqoop import --connect jdbc:mysql://172.000.000.170:3309/p_b --username p_b --password ********* --table sparksql_hive_test --where "mobile rlike '^[1][35678][0-9]{9}$'" --hive-import --hive-database tmp --hive-table hive_mobile_test --hive-overwrite --hive-drop-import-delims --delete-target-dir -m 1 --as-parquetfile

加regexp正则条件：

sqoop import --connect jdbc:mysql://172.000.000.170:3309/p_b --username p_b --password ********* --table sparksql_hive_test --where "mobile REGEXP '^[1][35678][0-9]{9}$'" --hive-import --hive-database tmp --hive-table hive_mobile_test --hive-overwrite --hive-drop-import-delims --delete-target-dir -m 1 --as-parquetfile

只导入name为中文，且不包含其他字符类型的：

sqoop import --connect jdbc:mysql://172.000.000.170:3309/p_b --username p_b --password ********* --table sparksql_hive_test --where "remark2 not REGEXP '[u0391-uFFE5]'" --hive-import --hive-database tmp --hive-table hive_mobile_test --hive-overwrite --hive-drop-import-delims --delete-target-dir -m 1 --as-parquetfile