sqoop_import_from_mysql_to_hive分区表

最新推荐文章于 2022-04-23 12:13:47 发布

angela_bigdata

最新推荐文章于 2022-04-23 12:13:47 发布

阅读量1.9k

点赞数

分类专栏： sqoop 文章标签： hive sqoop hadoop

本文链接：https://blog.csdn.net/wanglifengchao222/article/details/122622419

版权

sqoop 专栏收录该内容

5 篇文章 0 订阅

订阅专栏

1 创建hive分区表
CREATE TABLE ods.`ods_table1` (
  `id` int COMMENT '主键',
  `create_date` string COMMENT '设定目标的时间',
  `modify_date` string COMMENT '修改时间',
  date_insert string
) PARTITIONED BY (`dayid` string comment '分区字段')
ROW FORMAT DELIMITED FIELDS TERMINATED BY '^' STORED AS TEXTFILE ;

2 sqoop 导入脚本
#!/bin/bash
sqoop import \
--connect 'jdbc:mysql://ip地址:3306' \
--username mysql登录用户名 --password 'mysql密码' \
--target-dir /warehouse/tablespace/hive/ods.db/ods_table1/dayid='2022-01-21' \
--delete-target-dir \
--query "select id,create_date,modify_date,NOW(),create_date as dayid from table1 where 1=1 and create_date='2022-01-21' and \$CONDITIONS " \
--null-string '\\N' --null-non-string '\\N' \
--hive-partition-key dayid \
--hive-drop-import-delims --fields-terminated-by '^' -m 1