kylin 跑 cube的日志信息 Starting to launch local task to process map join

已于 2022-05-11 17:09:47 修改
阅读量1.3k 收藏
点赞数
分类专栏： kylin 文章标签： kylin
于 2022-04-18 19:17:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lin443514407lin/article/details/124256797
版权

原始java 堆大小为2G；
在这里插入图片描述

kylin跑cube的日志信息：
在这里插入图片描述

修改java堆大小为4G

在这里插入图片描述

在这里插入图片描述
kylin跑cube的日志信息：
在这里插入图片描述

大数据Kylin（六）：Kylin构建Cube算法
Lansonli（蓝深李）的博客
03-06 2784
by-layer” Cubing把一个大任务划分为许多步骤，每一步骤的计算依赖于上一个步骤的输出结果，所以当某一个步骤的计算出现问题时，可以再次读取上一步骤的结果重新计算，而不用从头开始。在player-1，根据源数据得到1个4-D的cuboid；Kylin在计算Cube之前对数据进行采样，在“fact distinct”步，利用HyperLogLog模拟去重，估算每种组合有多少不同的key，从而计算出每个Mapper输出的数据大小，以及所有Mapper之间数据的重合度，据此来决定采用哪种算法更优。
大数据Kylin（四）：Kylin创建cube
Lansonli（蓝深李）的博客
03-03 598
请注意，如果没有字典编码，cube 的大小可能会非常大。虽然衍生维度具有很大的吸引力，但是并不代表所有维度表上的维度都可以编程衍生维度，如果从维度表主键到某个维度表维度所需要的聚合工作量很大，例如：统计每年E订单金额M，基本上需要365:1的聚合量，那么可以将E设置成为一个基本维度，而不是一个衍生维度更合适。在kylin中，事实表与维度表关联时，类似使用主外键关联，事实表中有“外键-FK”，维度表中有“主键-PK”，如果在事实表中选择了FK为一个维度，那么相关的PK将自动查询，没有任何额外的开销。
【map join】 Starting to launch local task to process map join
最新发布
weixin_46680124的博客
03-21 223
hive大小表关联，自动转为map join，结果申请资源太大，sql异常退出。解决：set hive.auto.convert.join=false;
hive 报错Starting to launch local task to process map join； maximum memory = 518979584 Exception
qq_15009447的博客
06-10 975
Starting to launch local task to process map join; maximum memory = 518979584 Exception in thread “main” java.lang.OutOfMemoryError: Java heap space mapjoin的时候 OOM了。 MapJoin简单逻辑：读取小文件，缓存到distributeCache 再从cache里边读，和大表进行关联。 简单来说就是这边把表读到内存中，内存塞不下了爆了OOM.
Hive： launch local task process map join; Exception：OutOfMemoryError: Java heap space
weixin_43530138的博客
08-07 1013
Hive运行任务报错： Starting to launch local task to process map join; maximum memory = 477626368 Exception in thread “main” java.lang.OutOfMemoryError: Java heap space 解决：关闭本地模式、mapjoin,或调高mapjoin最大内存使用...
starting to launch local task to process map join maximum memory =1029701632 的原因
zz0548的博客
07-19 4893
错误日志如下 这是由于join的时候，其中一个表（左表或者右表）没有数据或者数据很小导致的
cube开发日志
建立虚拟世界
01-12 898
<br />2010年8月-12月<br /> 1，mysql数据库<br /> 2，网络消息加密<br /> 3，设备丢失找回<br /> 4，登陆、记录上次登录的账号、登录后显示同场景玩家<br /> 5，聊天<br /> 6，地图 - 角色标志<br /> 7，移动、缩放、旋转边界限于自己的区（旋转可能粘到边界上，可通过缩小、移动离开边界）<br /> 8，编辑地形限于自己的区<br /> 9，去另一个场景<br /> 10，绘制 catching block，右键可取消<br /
大数据Kylin（七）：Kylin构建Cube实战
Lansonli（蓝深李）的博客
03-07 575
根据“CreateData.java”文件生成对应的事实表，然后执行SQL语句将对应的维度表和事实表导入到Hive中。维度表region_tbl，数据如下：G01|北京G02|江苏G03|浙江G04|上海G05|广州维度表city_tbl，数据如下：G01|G0101|朝阳G01|G0102|海淀G02|G0201|南京G02|G0202|宿迁G03|G0301|杭州G03|G0302|嘉兴G04|G0401|徐汇G04|G0402|虹口G05|G0501|广州。
kylin的Cube构建原理及优化
wenzi880607的专栏
05-21 1393
Kylin的Cube构建原理 cube的构建主要有两种算法：逐层构建算法、快速构建算法，无论是采用哪种算法，首先是从Hive表中拉取数据，根据配置的星型模型，把hive中涉及的表关联起来，并拉取所有的字段形成一个中间层的宽表，如图 然后根据落地中间表的数据生成cube 逐层构建算法： 一个N维的Cube,是由1个N维的立方体、N个（N-1）维子立方体、N*(N-1)/2个（N-2)维子立方体、.....、N个1维子立方体和1个0维子立方体构成，总共由2^N个子立方体组成，逐层算法中，就是按照
理解Kylin中Cube、Cuboid、Cube Segment
杨鑫newlife的专栏
12-05 3707
Cube和Cuboid和Cube Segment Cuboid在kylin中指定在某一种维度组合下所有计算的数据； Cube（Data Cube），即数据立方体，是一种常用于数据分析与索引的基数；它可以对原始数据建立多维度索引。简单来说，一个Cube就是许多按维度聚合的物化视图的集合； Cube Segment是指针对源数据中的某一个片段，计算出...
hive出现内存溢出_hive mapjoin 内存溢出异常
weixin_33585909的博客
01-17 2432
1.异常在hive中两张表进行join操作时有时会出现如下错误：Total MapReduce jobs = 42014-10-22 05:45:06 Starting to launch local task to process map join; maximum memory = 10654842882014-10-22 05:45:42 Processing rows: 2...
hive之mapjoin
weixin_36630761的博客
12-11 2539
hive 的mapjoin起作用了我们如何确定？ 只是inner join 的时候 看日志吧，最为直观： 2021-12-10 12:05:41 Starting to launch local task to process map join; maximum memory = 954728448 2021-12-10 12:05:44 Processing rows: 200000 Hashtable size: 199999 Memory usage: 135058920 percentage:
Hive mapjoin的执行计划解读
浅汐
05-08 922
创建两张表，以emp表和dept表为例： create table emp( empno int, ename string, job string, mgr int, hiredate string, sal double, comm double, deptno int )row format delimited fields terminated by '\t'; 加载数...
08-Hive高级查询join
当法律与事业相遇
06-06 1434
声明：我的朋友，这一篇不要转载，因为你可以直接在这里看。大家好，我们今天来学习Hive高级查询join语法。你有没有期待把Hive学完整？我打算写完整，只要我知道。我写的都是比较接地气的，因为高大上的我知道的少。砸门一起加油进步吧！1 我们先回顾一下上一节课说的。上一节我们知道了：order by是一个全局的操作，groupby是一个聚合的操作。避免数据倾斜的方法之一是设置参数：hive.group
Hive从入门到放弃——Hive优化实践（十六）
LXWalaz1s1s的博客
08-02 367
背 景   
hive优化（1）之mapjoin
lpxuan151009的专栏
09-07 6909
hive> create table lpx_mapjoin as    > SELECT '2012-04-17' as stat_date    >        ,b.admin_member_id    >        ,a.category_level2_id    >        ,b.keywords    >        ,sum(shownum) as sum_
hive的join实现
大JAVA解决方案
03-12 595
Time taken: 18.884 seconds, Fetched: 22 row(s)hive&gt; create table a(id int,name string)    &gt; row format delimited fields terminated by ',';OKTime taken: 0.098 secondshive&gt; create table b(id in...
关于hvie对join优化的一个隐藏的坑
nieyanshun_me的专栏
01-18 3095
hive mapjoin 优化
HIVE MapJoin异常问题处理总结
Make progress step by step everyday.....
06-29 3826
HIVE MapJoin异常问题处理总结 转转： https://yq.aliyun.com/articles/64306 问题描述 在跑hive作业的时候，偶尔会遇到下面的异常 FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask 。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值