3.sqoop过滤数据导入hive表(where和query条件)

1.导入表数据子集到hdfs(可以改成导入到hive,举一反三)

• 导入表使用Sqoop导入工具，"where"子句的一个子集。它执行在各自的数据库服务器相应的SQL查询，并将结果存储在HDFS的目标目录。

• 按照条件进行查找，通过--where参数来查找表emp当中dept字段的值为 TP 的所有数据导入到hdfs上面去

sqoop import \
--connect jdbc:mysql://node2:3306/userdb \
--username root --password 123456 --table emp \
--target-dir /sqoop/emp_where -m 1  --delete-target-dir \
--where "dept = 'TP'"

提交查看HDFS上的目录看是否有数据生成

2.sql语句查找导入hdfs(可以到到hive,自己尝试)

我们还可以通过 –query参数来指定我们的sql语句，通过sql语句来过滤我们的数据进行导入

sqoop import \
--connect jdbc:mysql://