未名企鹅极客 | Kylin Cube构建优化（上）

最新推荐文章于 2022-11-02 13:26:07 发布
最新推荐文章于 2022-11-02 13:26:07 发布
阅读量166 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/WeimingPenguin/article/details/113108337
版权
本文详细介绍了Apache Kylin的Cube构建优化方法，包括利用层级维度（Hierarchies）、必要维度（Mandatory）、Rowkeys设计、Shard By策略、高级字典、派生列和聚合组等，旨在提高构建效率和查询性能。通过对维度组合的削减、压缩配置以及调整HBase分区数等，可以有效优化Kylin的性能。
摘要由CSDN通过智能技术生成

Kylin Cube构建优化

联机分析处理OLAP是一种软件技术，它使分析人员能够迅速、一致、交互地从各个方面观察信息，以达到在这里插入图片描述
深入理解数据的目的。

多维数据组织OLAP的使用一般有两种背景条件：
Ø 查询需求一般是统计结果，为数据经过聚合函数计算得到的统计值，并非直接面向原始数据，访问原始记录的频率也不那么高。
Ø 聚合是按照维度进行的，一般业务需求可控，维度聚合有限，不会随着数据膨胀而迅速增长。

在这里插入图片描述

Apache Kylin介绍
Apache Kylin（以下简称Kylin）是一个开源的、分布式的分析型数据仓库，提供Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据。

Kylin除了传统大数据分析的大规模并行处理和列式存储之外，还对数据进行了预计算处理，从而大幅减少了在 Hadoop/Spark上百亿规模数据查询延迟，达到秒级甚至亚秒级响应。

在这里插入图片描述

Kylin大致处理分三步，如下：

1定义数据集上的一个

最低0.47元/天 解锁文章
未名企鹅
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Pytorch实现强化学习DQN玩迷宫游戏(莫凡强化学习DQN章节pytorch版本)
u012864339的博客
03-01 1311
2.用pytorch实现DQN并用于玩maze。1.详细的资料可以参考莫凡老师的。4.下载后直接运行DQN_new。5.不懂的知识，看1。
强化学习-莫烦强化学习2.1视频中的代码复现
mjssdhy的博客
02-23 617
该代码为可以正常运行的代码 import numpy as np import pandas as pd import time np.random.seed(2) #reproducible N_STATES = 6 #the length of the 1 dimensional world ACTIONS = ['left','right'] #available actions EPSILON = 0.9 #greedy police 决策上的策略 ALPHA = 0.1 #learning ra
pytorch学习笔记
69小石头的博客
09-04 1471
一、激活函数以及图像的学习 #coding:utf-8 import torch import torch.nn.functional as F # log(1+e^x)激励函数 from torch.autograd import Variable # 做一些假数据来观看图像 x = torch.linspace(-5, 5, 200) # x data (tensor), shap...
pytorch 学习（八） RNN回归
nanxiaoting的博客
07-18 1218
#coding=utf-8 import torch from torch import nn import numpy as np import matplotlib.pyplot as plt from torch.autograd import Variable torch.manual_seed(1) # reproducible # Hyper Parameters TIME...
爬虫笔记5 向动态HTML迈进，selenium入门，获取响应后的element代码以及网页COOKIE
mahuateng的博客
05-29 524
1.加载网页代码 from selenium import webdriver 使用游览器(支撑绝大多数游览器) driver = webdriver.PhantomJS() 游览器进行游览 driver.get(“http://www.baidu.com”) 由于PhantomJS无界面，可以使用下面代码保存界面 driver.save_screenshot(“百度.png”) 2.定位和操作 支持所有element的搜寻比如id（id用的最多）(send_keys是输入，可以用来输入账户密码) d
ApacheKylin深入Cube和查询优化
02-25
近几年，ApacheKylin作为一个...一个优化得当的Cube既能满足高速查询的需要，又能节省集群资源。本文将从多个方面入手，介绍如何通过优化Cube提升系统性能。在传统多维分析就有多维立方体（OLAPCube）的概念。Apache
Kylin在贝壳的性能挑战和HBase优化实践
01-27
《Kylin在贝壳的性能挑战与HBase优化实践》 Kylin，作为一款高效的企业级在线分析处理（OLAP）引擎，在贝壳公司的应用实践中扮演着关键角色。自2017年起，贝壳开始使用Kylin作为其核心数据分析平台，目前已有超过...
大数据技术之Kylin视频教程
07-08
本套视频教程版本升级为4.0，涵盖了Kylin新版的重大功能升级，并将构建引擎和查询引擎全部升级为Spark，将存储由HBase升级为HDFS下的Parquet存储，这三方面的升级大大提升了Kylin的Cube构建效率和查询效率。...
【PyTorch 计算图】requires_grad=True的leaf variable及其设计逻辑
最新发布
Petersburg的博客
11-02 984
介绍leaf variable；处理错误RuntimeError: a view of a leaf Variable that requires grad is being used in an in-place operation.`
强化学习——（1）DQN的pytorch实现
m0_52974810的博客
04-29 3378
DQN的流程图 导入相应包 import torch import torch.nn as nn import numpy as np from Environment import Maze 定义神经网络框架 class Net(nn.Module): def __init__(self, n_states, n_actions): super(Net, self).__init__() self.fc1 = nn.Linear(n_states, 5..
pytorch 笔记： DQN（experience replay）
qq_40206371的博客
01-06 1738
1 理论知识 DQN 笔记 State-action Value Function(Q-function)_UQI-LIUWJ的博客-CSDN博客 强化学习笔记 experience replay 经验回放_UQI-LIUWJ的博客-CSDN博客 2 导入库 import torch import torch.nn as nn import torch.nn.functional as F import numpy as np import gym 3 定义参数 BATCH_SIZE = 3
莫烦pytorch学习笔记2
dayday学习的博客
05-08 354
莫烦pytorch学习笔记21.构建一个分类模型 1.构建一个分类模型 import torch from torch.autograd import Variable import torch.nn.functional as F torch.manual_seed(1) # reproducible # make fake data n_data = torch.ones(100, 2...
算法学习（十五）——double DQN
星之所望的博客
03-07 395
demo： import torch import torch.nn as nn import torch.nn.functional as F import numpy as np import gym import matplotlib.pyplot as plt import copy import os import random os.environ["KMP_DUPLICATE_LIB_OK"] = "TRUE" # hyper-parameters BATCH_SIZE = 128 LR
torch分类问题
weixin_30679823的博客
12-26 166
import torch from torch.autograd import Variable import torch.nn.functional as F import matplotlib.pyplot as plt # torch.manual_seed(1) # reproducible # make fake data n_data = torch.on...
双延迟深度确定性策略梯度TD3算法思路和两个python实现
ZYunfei的博客
03-29 1918
算法思路 TD3是解决AC框架下Q值高估问题的，这个问题可追溯到double Q-learning中： y=r+γQθ1(s′,arg⁡max⁡aQθ2(s′,a))y=r+\gamma Q_{\theta_{1}}\left(s^{\prime}, \arg \max _{a} Q_{\theta_{2}}\left(s^{\prime}, a\right)\right)y=r+γQθ1​​(s′,argamax​Qθ2​​(s′,a)) max操作将s’下最大的Q值近似为V值，而V值实际是Q值的加权平均
《白话强化学习与PyTorch》学习笔记---第八章
cat_ziyan的博客
11-11 3969
《白话强化学习与PyTorch》学习笔记-第八章 第八章用了DQN及各种改进算法来训练Gym中的atari游戏—pong 首先先来看一下官方网站中的游戏介绍： 简单来说，训练目的是使得分最大化。在这个环境中的观察结果(observation)是RGB图像，大小为（210，160，3），在2~4（随机采样）帧内重复同一个动作。从环境中得到observation后，我们会先对数据进行预处理操作： d...
理解optimizer.zero_grad(), loss.backward(), optimizer.step()的作用及原理
热门推荐
PanYHHH的博客
07-16 8万+
在使用pytorch训练模型时，经常可以在迭代的过程中看到optimizer.zero_grad(),loss.backward()和optimizer.step()三行代码依次出现，比如： model = MyModel() criterion = nn.CrossEntropyLoss() optimizer = torch.optim.SGD(model.parameters(), lr=0.001, momentum=0.9, weight_decay=1e-4) for epoch in r
强化学习笔记3-Python/OpenAI/TensorFlow/ROS-规划博弈
zhangrelay的专栏
06-13 2716
规划：主要涉及马尔科夫决策（MDP），常用于已知环境求解； 博弈：主要涉及蒙特卡罗方法，常用于未知状态求解。 基础知识点： Markov Decision Processes-MIT https://ocw.mit.edu/courses/electrical-engineering-and-computer-science/6-825-techniques-in-artificial-...
强化学习实践八：DQN的实现
xl.zhang的博客
05-29 5486
本文将带您一起实践深度学习与强化学习联合解决问题的一个经典算法：深度Q学习网络（DQN）。深度学习算法在强化学习领域的应用主要体现在价值函数或策略函数的近似表示上，理解了这一点将有助于您直击深度强化学习问题的本质。正因为如此，我们也可以使用不基于深度学习的其他函数近似工具。 这里贴一些别人已经写好的基于深度学习算法的一些链接： borgwang/reinforce_py用不同的机器学习库实现...
Apache Kylin v3.1 教程：Cube构建与优化
这包括Cube的优化构建策略，以及如何利用Kylin的CLI工具进行元数据备份和存储清理。 在数据源集成部分，教程详细说明了如何设置JDBC和ODBC驱动，以及如何与Tableau、Excel、PowerBI等BI工具进行集成。对于更复杂的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值