（4）3.3.9ODS层数据导入脚本4

最新推荐文章于 2022-06-21 20:58:16 发布

佑熙

最新推荐文章于 2022-06-21 20:58:16 发布

阅读量256

点赞数

分类专栏：电商数仓3 文章标签：大数据

本文链接：https://blog.csdn.net/weixin_42871374/article/details/105411202

版权

电商数仓3 专栏收录该内容

14 篇文章 0 订阅

订阅专栏

3.3.9ODS层数据导入脚本

1）在/home/atguigu/bin目录下创建脚本ods_db.sh
[atguigu@hadoop102 bin]$ vim ods_db.sh
在脚本中填写如下内容
#!/bin/bash

APP=gmall
hive=/opt/module/hive/bin/hive

如果是输入的日期按照取输入日期；如果没输入日期取当前时间的前一天

if [ -n “$1” ] ;then
do_date=$1
else
do_date=date -d "-1 day" +%F
fi

sql="
load data inpath ‘/origin_data/ $APP/db/order_info/$ do_date’OVERWRITE into table " $APP".ods_order_info partition(dt='$ do_date’);

load data inpath ‘/origin_data/ $APP/db/order_detail/$ do_date’OVERWRITE into table " $APP".ods_order_detail partition(dt='$ do_date’);

load data inpath ‘/origin_data/ $APP/db/sku_info/$ do_date’OVERWRITE into table " $APP".ods_sku_info partition(dt='$ do_date’);

load data inpath ‘/origin_data/ $APP/db/user_info/$ do_date’ OVERWRITE into table " $APP".ods_user_info partition(dt='$ do_date’);

load data inpath ‘/origin_data/ $APP/db/payment_info/$ do_date’ OVERWRITE into table " $APP".ods_payment_info partition(dt='$ do_date’);

load data inpath ‘/origin_data/ $APP/db/base_category1/$ do_date’ OVERWRITE into table " $APP".ods_base_category1 partition(dt='$ do_date’);

load data inpath ‘/origin_data/ $APP/db/base_category2/$ do_date’ OVERWRITE into table " $APP".ods_base_category2 partition(dt='$ do_date’);

load data inpath ‘/origin_data/ $APP/db/base_category3/$ do_date’ OVERWRITE into table “ $APP".ods_base_category3 partition(dt='$ do_date’);
"
$h i v e - e "$ sql”
2）增加脚本执行权限
[atguigu@hadoop102 bin]$ chmod 777 ods_db.sh
3）执行脚本导入数据
[atguigu@hadoop102 bin]$ ods_db.sh 2019-02-10
[atguigu@hadoop102 bin]$ ods_db.sh 2019-02-11
4）查询导入数据
hive (gmall)>
select * from ods_order_info where dt='2019-02-10’limit 1;
select * from ods_order_info where dt=‘2019-02-11’ limit 1;