mysql导入hive分区表

这段脚本展示了如何利用Sqoop从MySQL数据库导入数据到Hive,其中涉及日期条件筛选、Hive重写、分区等操作。通过设置日期变量 yesterday 和 today,筛选出特定时间范围内的记录,并按指定字段进行数据分割。
摘要由CSDN通过智能技术生成
#yesterday=`date -d "1 days ago" +%Y-%m-%d`
yesterday=`date -d "@$(($(date +%s)- 86400))"  '+%Y-%m-%d'`
today=`date -d "@$(($(date +%s)))"  '+%Y-%m-%d'`
sqoop import \
--connect jdbc:mysql://主机:3306/表 \
--username 用户名\
--password 密码\
--query "select line1,line2 from 库.表 where line1 >= '${yesterday} 00:00:00' and line2 <'${today} 00:00:00' and \$CONDITIONS " \
--driver com.mysql.jdbc.Driver \
--hive-overwrite \
--hcatalog-database 库\
--hcatalog-table 表\
--hcatalog-partition-keys 分区字段\
--hcatalog-partition-values ${yesterday} \
--hcatalog-storage-stanza 'stored as orc' \
--split-by 字段名\#容错手段
-m 1 
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值