3.kylin在linux上定时调度脚本

最新推荐文章于 2024-06-12 17:15:05 发布

First_____

最新推荐文章于 2024-06-12 17:15:05 发布

阅读量436

点赞数

分类专栏：即席查询文章标签： linux kylin

本文链接：https://blog.csdn.net/first_____/article/details/123567683

版权

kylin 查询数据,在linux中进行定时调度的脚本:

#!/bin/bash 
cube_name=order_cube 
do_date=`date -d '-1 day' +%F` 
#获取 00:00 时间戳 
start_date_unix=`date -d "$do_date 08:00:00" +%s` 
start_date=$(($start_date_unix

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

First_____

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

[数仓]七、离线数仓（Presto&Kylin即席查询）

weixin_44428807的博客

07-08

272

第1章 Presto 1.1 Presto简介 1.1.1Presto概念 1.1.2 Presto架构

Kylin的介绍及使用说明

SDKLHKJAS的博客

08-19

4346

介绍篇 Kylin是ebay开发的一套OLAP系统，与Mondrian不同的是，它是一个MOLAP系统，主要用于支持大数据生态圈的数据分析业务，它主要是通过预计算的方式将用户设定的多维立方体缓存到HBase中（目前还仅支持hbase），这段时间对mondrian和kylin都进行了使用，发现这两个系统是时间和空间的一个权衡吧，mondrian是一个ROLAP系统，所有的查询可以通过实时的...

参与评论您还未登录，请先登录后发表或查看评论

实现kylin定时跑当天的任务

weixin_34090643的博客

11-08

665

说明：每天自动构建cube，动态在superset里面查看每天曲线变化图 #! /bin/bash ##cubeName cube的名称##endTime 执行build cube的结束时间 (命令传给Kylin的kylinEndTime = realEndTime + (8小时，转化为毫秒)。只需要给Kylin传入build cube的结束时间即可。)##buildType BU...

Kylin_定时调度脚本

Knight

10-25

719

Kylin提供了Restful API，因次我们可以将构建cube的命令写到脚本中，将脚本交给azkaban或者oozie这样的调度工具，以实现定时调度的功能。不会写看kylin官网中得Restful API https://kylin.apache.org/docs/howto/howto_use_restapi.html#query 对于xxxxxxx是账号和密码:ADMIN:KYLIN 但是需要用Base64加密，直接在百度搜Base64在线加密定时调度脚本 #!/bin/bash cube_

Kylin通过linux脚本调度Restful API定时进行Cube的增量构建

Bulut0907

02-20

846

如果构建的时间比定义的时间小8小时，是因为kylin只识别0时区的时间，0时区的0点对应东八区的8点，可以考虑将定义的时间加8小时。当对Hive的分区表进行cube的构建时，可以进行每天定时增量构建。就需要编写linux脚本，动态获取增量构建的开始时间和结束时间，再调用kylin提供的Restful API。在kylin的Web界面的Monitor，可以看到已经提交的cube构建任务。多次进行全量cube的构建，会用最新的segment更新旧的segment。调用linux脚本，进行cube的构建。

kylin启动脚本

coisini.cn记录

10-17

563

kylin.sh #!/bin/bash cube_name=order_cube do_date=`date -d '-1 day' +%F` #获取 00:00 时间戳 start_date_unix=`date -d "$do_date 08:00:00" +%s` start_date=$(($start_date_unix*1000)) #获取 24:00 的时间戳 stop_date=$(($start_date+86400000)) curl -X PUT -H "Authoriz.

python 执行kylin失败的定时任务

lin的专栏

03-26

266

1、conf.ini 配置文件内容 [students] host=*.*.*.* port=7070 [path] kylin_home=/opt/apache-kylin [sleep] job_time=120 resquest_time=60 [user] user=用户名 pass=密码 [count] count=50 [Naenvvar] AUTO=true 2、python脚本 #coding=utf-8 import json import time import os impo

超大数据集上的亚秒级查询工具Kylin教程（一）：Kylin简介与安装

Kylin的主要优势在于其快速、高效的多维分析能力，适用于需要在海量数据上进行复杂的多维分析和OLAP查询的场景。主要包括但不限于电商行业的销售数据分析、金融行业的交易数据分析以及智能制造行业的生产数据分析等...

linux中文件所有者,linux中改变文件所有者的命令是什么

weixin_34717586的博客

05-08

6673

一、使用rpm指令3秒删除PHP所有包在安装所有的框架和安装包时，第一个必须看的就是项目所需环境，可以看到Larave对PHP的版本要求是7.2.5以上。来到虚拟机看看PHP的版本，你可以通2021-03-25 21:33:23linux中改变文件所有者的命令是chown命令。chown命令用来更改文件的属主，也就是指定文件的拥有者改为另一个指定的用户或组。命令格式：chown [选项]... [...

Kylin 的注意事项

weixin_45417821的博客

01-26

294

文章目录Kylin 使用注意事项只能按照构建 Model 的连接条件来写 SQL只能按照构建 Cube 时选择的维度字段分组统计只能统计构建 Cube 时选择的度量值字段 Kylin 使用注意事项只能按照构建 Model 的连接条件来写 SQL 因为在创建 Model 的时候，我们对员工表和部门表选用的是 Inner Join 内连接因此我们在使用 Kylin 查询的时候，也只能用 join 内连接，其他连接会报错并且还有一个要求就是顺序必须是事实表在前，维度表在后，否则报错！只能按照构建

使用 DolphinScheduler 调度 Kylin 构建

Kyligence

03-08

3291

Apache Kylin 上游通常有复杂的数据 ETL 过程，如 Hive 入库、数据清洗等；下游有报表刷新，邮件分发等。集成 Apache DolphinScheduler 后，Kylin 可以方便地将大数据平台各组件串联起来，让各个任务通过 DAG 统一调度。 01背景 Apache Kylin 是一个支持海量大数据的在线分析引擎，需要离线或流式地从 Apache Hive、...

Linux定时执行运行脚本

Txwillnottleaveyou的博客

03-09

508

linux运用crontab定时执行脚本

国产操作系统制作开机运行脚本 _ 统信 _ 麒麟 _ 中科方德

鹏大圣运维

05-20

1388

Hello，大家好啊！今天我将向大家介绍如何在国产操作系统统信UOS、麒麟KOS、中科方德桌面操作系统上制作开机启动运行脚本。实现这一目的的方法主要有两种：通过crontab设置定时任务和通过rc.local文件设置开机启动执行脚本。接下来，我将详细介绍这两种方法。

麒麟系统定时任务执行.sh文件

最新发布

weixin_71454352的博客

06-12

1261

麒麟系统定时任务执行.sh文件

Kylin cube构建过程优化

大数据训练营

03-28

6838

Kylin将Cube构建任务分解为几个依次执行的步骤，这些步骤包括Hive操作、MapReduce操作和其他类型的操作。如果你有很多Cube构建任务需要每天运行，那么你肯定想要减少其中消耗的时间。下文按照Cube构建步骤顺序提供了一些优化经验。创建Hive的中间平表这一步将数据从源Hive表提取出来(和所有join的表一起)并插入到一个中间平表。如果Cube是分区的，Kylin会加上一个时...

Kylin的构建原理及简单优化二

zhangzty111的博客

06-12

298

目录5 Cube存储原理6 使用衍生维度（derived dimension） 7 使用聚合组（Aggregation group） 8 Row Key优化在计算之前，会为每一个维度建立一个维度字典表在HBase中存储的K是Cuboid+纬度值，其中Cuboid是指参与的维度数量，1为参与，0为不参与；纬度值指是以十六进制存储的取自于维度字典表中所对应得值。在kylin中属于构建优化，在选择维度表时有normal和derived，derived就是使用衍生维度。加快了计算，减少了查询得速度为了减少计算得c

sql server定时操作

Levi Liu(liushmh)

12-28

1268

如果在SQL Server 里需要定时或者每隔一段时间执行某个存储过程或3200字符以内的SQL语句时,可以用管理->SQL Server代理->作业来实现。1、管理->SQL Server代理->作业(按鼠标右键)->新建作业->2、新建作业属性(常规)->名称[自定义本次作业的名称]->启用的方框内是勾号-> 分类处可选择也可用默认的[未分类(本地)]->所有者默认为登录SQL Server用

dim层-首日和每日数据装载脚本

S1124654的博客

06-23

395

dim层首日脚本和每日脚本

ubuntu、redhat系统开机自启动服务rc.local，可以开机自动执行某个脚本或者命令