导入数据到hive表中，$CONDITIONS的作用（附案例）

$CONDITIONS的作用

• 如果你想通过并行方式导入结果，每个map task都会执行sql的副本，结果会根据sqoop 推测的边界进行分区。query必须包含$CONDITIONS，这样每个sqoop程序都会被替换成一个独立的条件。同时你必须指定 --split -by 分区。
• 当执行MapReduce 时首先会执行多个 Map，这些 Map 会在数据库中搜索数据，即每个Map 都 会获取一部分数据，此时要将数据库中的数据导入到HDFS，如果使用CONDITIONS参数，就能保证数据库中数据的顺序与 HDFS 中导入数据的顺序是一致的，实际上CONDITIONS就是起到了参数传递的作用。

---

案例1：使用sqoop从mysql中导入2021-11-11的增量数据到ods层中的hive表

（前提：ods层中hive表结构已根据"starts_time"进行分区了）

sqoop import \
--connect "jdbc:mysql://node151:3306/nev?useUnicode=true&characterEncoding=utf-8" \
--username root \
--password Heima@123456 \
--query "select
id,
create_date_time,
session_id,
sid,
create_time,
seo_source,
'2021-11-11' as starts_time
from nev.web_chat_ems_2021_11
where create_time between '2021-11-11 00:00:00' and '2021-11-11 23:59:59' and \
$CONDITIONS" \
--fields-terminated-by '\t' \
--hcatalog-database itcast_ods \
--hcatalog-table web_chat_ems \
-m 1