电商数仓-使用sqoop将MySQL数据导入hdfs

最新推荐文章于 2022-06-19 21:00:00 发布

洛洛洛洛洛洛洛

最新推荐文章于 2022-06-19 21:00:00 发布

阅读量157

点赞数

分类专栏：数仓理论

本文链接：https://blog.csdn.net/weixin_44740082/article/details/106620158

版权

数仓理论专栏收录该内容

6 篇文章 0 订阅

订阅专栏

导表分三类：

#！/bin/bash

时间的处理：T+1模式 支持了自己输入的时间   脚本的第二个参数：时间

sqoop参数的基本函数（$1=表名   $2=过滤条件）

全量  select * from 表 where 1=1
增量  select * from  表 where  createtime paytime = 当前时间
新增和变量 select * from 表 where  createtime or operatim =当前时间

脚本输入的第一个参数  是表名字或者 first all

单表导入

first 23 个表
all 21个表 （少地区表）