大数据学习hadoop3.1.3——Azkaban调度kylin脚本

最新推荐文章于 2024-07-08 07:45:49 发布

Carson_xcb

最新推荐文章于 2024-07-08 07:45:49 发布

阅读量309

点赞数

分类专栏： shell脚本

caron

本文链接：https://blog.csdn.net/qq_42502354/article/details/107212399

版权

shell脚本专栏收录该内容

3 篇文章 0 订阅

订阅专栏

如何实现每日自动构建cube

Kylin提供了Restful API，因次我们可以将构建cube的命令写到脚本中，将脚本交给azkaban或者oozie这样的调度工具，以实现定时调度的功能。

脚本如下:

#!/bin/bash

cube_name=order_cube
do_date=`date -d '-1 day' +%F`

#获取00:00时间戳

start_date_unix=`date -d "$do_date 08:00:00" +%s`
start_date=$(($start_date_unix*1000))

#获取24:00的时间戳

stop_date=$(($start_date+86400000))

curl -X PUT -H "Authorization: Basic QURNSU46S1lMSU4=" -H 'Content-Type: application/json' -d '{"startTime":'$start_date', "endTime":'$stop_date', "buildType":"BUILD"}' http://hadoop101:7070/kylin/api/cubes/$cube_name/build